[2022-03-18 18:26:57.187]Container [pid=92959,containerID=container_1647598528227_0003_01_000002]
is running 236038656B beyond the 'VIRTUAL' memory limit. Current usage: 52.4 MB of 1 GB physical
memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
hadoop jar wc.jar com.ltj.wordcount.WordCount -Dmapreduce.job.queuename=default /input /output
问题原因是container在申请多余的内存时，被resouremanager杀掉了
此处可修改hadoop/etc/mapred-site.xml
添加配置信息
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>然后重启hadoop
重新提交任务
找了一天-----555终于解决了
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
