微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

2.安装spark和python练习

一、下载spark

1.检查基础环境hadoop,jdk

 

 

 2.解压,文件重命名、权限

 

 

 

 

 

3.配置文件

 

 

 

 4.环境变量

 

 5.试运行python代码

 

 

 二、Python编程练习:英文文本的词频统计

1.准备文档,在百度复制一篇英语文章

 

 在wc.py中编写代码

path='/home/hadoop/wc/ff1.txt'
with open(path) as f:
    text=f.read()
words = text.split()
wc={}
for word in words:
    wc[word]=wc.get(word,0)+1
wclist=list(wc.items())
wclist.sort(key=lambda x:x[1],reverse=True)
print(wclist)

结果为

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐