java-如何将多个Hadoop MapReduce作业合并为一个？

我有大量的输入数据(这就是为什么我使用Hadoop的原因),并且可以通过各种MapReduce步骤解决多个任务,其中第一个映射器需要将所有数据作为输入.

我的目标：尽快计算这些不同的任务.

我目前让它们按顺序运行,每次读取所有数据.我认为将任务合并并执行它们的相似部分(例如将所有数据馈送到映射器)一次只会更快.

我想知道是否以及如何合并这些任务.对于每个输入键/值对,映射器都可以发出“超级键”,其中包括任务ID和特定于任务的键数据以及一个值.这样,化简将获得任务和特定于任务的键的键/值对,并可以在看到“超级键”时决定在包含的键和值上执行哪个任务.

用伪代码：

map(key, value):
    emit(SuperKey("Task 1", IncludedKey), value)
    emit(SuperKey("Task 2", AnotherIncludedKey), value)

reduce(key, values):
   if key.taskid == "Task 1":
      for value in values:
          // do stuff with key.includedkey and value
   else:
      // do something else

密钥可以是WritableComparable,可以包含所有必要的信息.

注意：伪代码表明了一种糟糕的体系结构,并且绝对可以用更智能的方式来完成.

我的问题是：

>这是明智的做法吗？
>还有更好的选择吗？
>它有一些可怕的缺点吗？
>这种方法是否需要自定义的Partitioner类？

背景：数据由数百万个RDF四倍数组成,任务是计算聚类,统计量和相似度.仅需使用reducer中的Hadoop计数器即可轻松解决某些任务,但某些任务则需要多个MapReduce步骤.

计算最终将在亚马逊的Elastic MapReduce上进行.所有任务都将在整个数据集上尽可能快地进行计算.

解决方法:

• Is this a sensible approach?

除了将不同作业逻辑的维护结合起来之外,它没有任何内在的错误.我相信它将为您节省一些磁盘I / O,如果您的磁盘是您的进程的瓶颈,那么这可能是一个胜利(在小型集群上可能是这种情况).

• Are there better alternatives?

最好编写一个略带框架结构的Mapper和Reducer,将它们作为配置参数接受对它们进行实际映射和归约的类的引用.这可以解决代码的上述耦合(也许您已经想到了).

• Does it have some terrible drawback?

我唯一能想到的是,如果任务的映射逻辑之一未能及时完成其工作,则调度程序可能会启动另一个节点来处理该输入数据.这可能会导致重复的工作,但是如果不了解您的流程,很难说这是否有多大作用.减速器也是如此.

• Would I need a custom Partitioner class for this approach?

可能取决于您在做什么.我认为通常来说,如果您要编写自定义输出WritableComparable,则也需要自定义分区.但是,可能会有一些库分区程序可以根据您的需要进行配置(例如KeyFieldBasedPartitioner,如果您将输出类型设置为Text并使用String字段分隔符而不是自己滚动).

HTH.如果您可以提供更多背景信息,也许我可以提供更多建议.祝好运！