微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop配置JobHistory

1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml,添加如下代码

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>   
    <!-- 配置日志服务器的地址,work节点使用 -->
    <property>
         <name>yarn.log.server.url</name>
         <value>http://master1:19888/jobhistory/logs</value>
    </property>
    <!-- 配置日志过期时间,单位秒 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

2.修改/usr/local/hadoop/etc/hadoop/mapred-site.xml,添加如下代码

    <!--配置jobhistory的地址和web管理地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master1:19888</value>
    </property>

3.将上面两文件修改同步到集群中的所有机器的/usr/local/hadoop/etc/hadoop

4.在集群中的任意一台机器机动jobhistory

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

5.启动完之后,就可以通过http://master1:19888/访问

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐