微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

mapReduce入门程序

一个简单排序的实现:知乎第一个MapReduce程序,里面最后的两个脚本map.py reduce.py

在单机上用如下命令测试:

cat filename.txt | python map.py | sort | python reduce.py > outfile.txt

 单机测试通过后就可以上hadoop环境跑了,需要写一个配置文件,执行结束后会显示"Output directory: hdfs://xxxxx;执行如下命令拉回:

hadoop fs -get hdfs://xxxxx dstDir

 

 

 

 

 

       

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐