所以我们要根据并行度去调整分配的cpu资源
程序如下:指定并行度为5，指定每个TM的slot数为2
-p 5 \
-Dtaskmanager.numberOfTaskSlots=2 \
所以虽然配置了2个slot(并发度为2)，但是两个task不能同时运行，因为只有一个cpu
查看yarn的ui，可以看到只用到了4个cpu。
因为我们是5个并行度，所以需要至少3个tm才能运行(3个tm有6个slot)。所以用到的cpu=tm的数量*tm分配的核心数+一个jm使用的cpu=3*1+1=4
打开配置文件capacity-scheduler.xml，将defaultResourceCalculator注释掉，将下面的DominantResourceCalculator的注释去掉。yarn将动态调整容器内的cpu资源，由于我们设置了slot为2，yarn会调整成2个
重启程序，打开ui查看，使用的cpu核心数变成了7个 ，因为是 3*2+1
我们还可以强行指定yarn的核心数，这里指定为3
-Dyarn.containers.vcores=3 \
ui如下：
使用的cpu变成了10个，因为每个tm被分配了3个核心，3*3+1=10
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
