微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

java-Hadoop:减速器的数量不等于我在程序中设置的数量

我已经在mapred-site.xml中将mapred.tasktracker.reduce.tasks.maximum设置为10,并且在我的工作中也写了jobConf.setNumReduceTasks(5).

如果我在Shell中运行该工作,一切正常.

但是当我通过日食运行相同的工作时,仅启动了一个减速器.

我尝试在Eclipse中编辑Map / Reduce位置,并将mapred.reduce.tasks设置为10.但这仍然行不通.

我可以在Eclipse中调整其他参数吗?

解决方法:

在eclipse中运行它似乎使用了本地作业运行程序.它仅支持0或1减速器.如果您尝试将其设置为使用多个减速器,则它将忽略它而仅使用一个.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐