安装Spark与Python练习

1. 检查基础环境hadoop,jdk                                       

   

2. 解压，文件夹重命名、权限                                              

   

3.  

    更改配置文件

   

   

4. 更改环境变量                                                               　　                                                                                                                                                                 
          gedit ~/.bashrc

1. export SPARK_HOME=/usr/local/spark

2. export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:PYTHONPATH

3. export PYSPARK_PYTHON=python3

4. export PATH=$PATH:$SPARK_HOME/bin

   

5. 试运行Python

   

6.  用python编写英文文本的词频统计程序 

   1. 　程序源代码                                      　

      

   2. 运行结果