微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

lucene – 是否可以在一个JVM中运行多个map任务?

我想在Hadoop中为我的地图任务共享大内存静态数据(RAM lucene索引)?有几种map / reduce任务共享同一个JVM的方法吗?

解决方法

作业可以通过指定作业配置mapred.job.reuse.jvm.num.tasks来重用任务JVM.如果值为1(缺省值),则不重用JVM(即每个JVM 1个任务).如果为-1,则JVM可以运行的任务数量(同一作业)没有限制.也可以使用api指定大于1的某个值.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐