一个简单排序的实现:知乎第一个MapReduce程序,里面最后的两个脚本map.py reduce.py
在单机上用如下命令测试:
cat filename.txt | python map.py | sort | python reduce.py > outfile.txt
单机测试通过后就可以上hadoop环境跑了,需要写一个配置文件,执行结束后会显示"Output directory: hdfs://xxxxx;执行如下命令拉回:
hadoop fs -get hdfs://xxxxx dstDir
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。