Hadoop在yarn上运行mr程序以及历史服务器的配置

yarn上运行mr程序

配置yarn-env.sh

配置yarn-site.xml

 <!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>testnote01</value>
</property>

配置：mapred-env.sh

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

hadoop-daemon.sh start namenode和datanode分别启动

启动yarn

启动成功

在程序上执行案例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

map 0% reduce 0% map 100% reduce 0% map 100% reduce 100% 出现这个标识

在浏览器上可以查看

历史服务器的配置

vim的添加操作

		 <property>
			<name>mapreduce.jobhistory.address</name>
			<value>testnote01:10020</value>
		</property>
		
		<property>
		    <name>mapreduce.jobhistory.webapp.address</name>
		    <value>testnote01:19888</value>
		</property>

成功
检查原来是否含有output,有就删除

hadoop fs -rmr /user/output

yarn的8088端口点击history
知道跑了几个map和reduce,
左上角的Configuration有详细的配置信息