A. 分步骤实现
准备文件
下载小说或长篇新闻稿
上传到hdfs上
分词
排除大小写lower()，map()
标点符号re.split(pattern,str)，flatMap(),
停用词,可网盘下载stopwords.txt,filter()，
长度小于2的词filter()
统计词频
按词频排序
输出到文件
查看结果
B. 一句话实现：文件入文件出
C. 和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解并用自己话表达Spark编程的特点。
Spark支持多语言。Spark允许Java、Scala、Python及R（Spark1.4版最新支持），这允许更多的开发者在自己熟悉的语言环境下进行工作，普及了Spark的应用范围，它自带80多个高等级操作符，允许在shell中进行交互式查询，它多种使用模式的特点让应用更灵活。
Spark使用了RDD数据抽象，这允许它可以在内存中存储数据，只在需要时才持久化到磁盘。这种做法大大的减少了数据处理过程中磁盘的读写，大幅度的降低了运行时间。
二、求Top值
网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。
丢弃不合规范的行：
空行
少数据项
缺失数据
按支付金额排序
取出Top3
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
