一、词频统计
A. 分步骤实现
1.准备文件，下载小说或长篇新闻稿
2.上传到hdfs上
3.读文件创建RDD
4.分词
5.排除大小写lower()，map()
6.标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filter()
7.统计词频
8.按词频排序
10.查看结果
C. 和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解并用自己话表达Spark编程的特点。
答：spark通过rdd的形式来存入，使用获取数据，python的话是，通过代码函数式编写，对文件进行操作，相对来讲，我个人认为，操作这一类数据时，spark更为简便。
二、求Top值
网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。
丢弃不合规范的行：
空行
少数据项
缺失数据
2.按支付金额排序
3.取出Top3
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
