Hadoop运行程序的时候在日志里发现的错误

在日志里发现下面这个错误

[2021-10-26 19:47:45.029]Container [pid=8097,containerID=container_1635247229913_0031_01_000003] is running 274078208B beyond the 'VIRTUAL' memory limit. Current usage: 153.1 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

首先分析一下

153.1MB：是任务所占的物理内存

1GB ：mapreduce.map.memory.mb 参数默认设置大小

2.8GB：程序占用的虚拟内存

2.1GB：mapreduce.map.memory.mb 乘以 yarn.nodemanager.vmem-pmem-ratio 得到的

其中 yarn.nodemanager.vmem-pmem-ratio 是 虚拟内存和物理内存比例，在yarn-site.xml中设置，默认是2.1

很明显，container占用了2.8G的虚拟内存，但是分配给container的却只有2.1GB。所以kill掉了这个container

解决办法

此处可修改etc/hadoop/mapred-site.xml
添加配置信息
<property>
　　<name>mapreduce.map.memory.mb</name>
　　<value>1536</value>
</property>
<property>
　　<name>mapreduce.map.java.opts</name>
　　<value>-Xmx1024M</value>
</property>
<property>
　　<name>mapreduce.reduce.memory.mb</name>
　　<value>3072</value>
</property>
<property>
　　<name>mapreduce.reduce.java.opts</name>
　　<value>-Xmx2560M</value>
</property>

然后重启整个haodoop模块
重新提交任务