Spark的安装

1.确保jdk版本在1.8以上
链接地址：https://pan.baidu.com/s/1fbYHEBKQlJ2tlmYpB3J0lg
提取码：ejdn

oracle官网：http://www.oracle.com/

2.安装jdk

通过xftp上传至linux

解压

 $ tar zxvf ~/software/jdk-8u161-linux-x64.tar.gz -C  /usr/java/

打开profile文件

vi etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH #注意顺序

：wq

source /etc/profile

此时查看java版本

3.下载spark
链接：http://spark.apache.org/downloads.html

如图所示选择，之后点击第三项的链接下载

点击图上链接即可下载

4.安装spark
1.将文件通过xftp传输到linux

2.解压文件

sudo tar -zxf ~/software/spark-2.4.8-bin-without-hadoop.tgz -C /usr/local/ #解压
cd /usr/local
sudo mv ./spark-2.4.8-bin-without-hadoop/ ./spark

安装后，还需要修改Spark的配置文件spark-env.sh

3.修改配置文件

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vi ./conf/spark-env.sh

在第一行添加

export SPARK_disT_CLAsspATH=$(/opt/hadoop-2.6.5/bin/hadoop classpath) #取决于你的hadoop安装位置

4.验证
通过运行Spark自带的示例，验证Spark是否安装成功。

cd /usr/local/spark
bin/run-example SparkPi
bin/run-example SparkPi 2>&1 | grep "Pi is"

使用命令进入spark-shell环境，可以通过下面命令启动spark-shell环境：

bin/spark-shell

使用“Ctrl+D”组合键，退出Spark Shell