Centos 7.4 安装单机版 Spark

前言

由于个人学习需要，所以来研究一下怎么安装 Spark，但是由于个人的经济资源有限，所以还没有上集群，这里先试一下单机版的 Spark。后期有扩展的话，同步更新集群安装教程。

以下一切操作都基于 root 用户。

0. 安装 Scala

0.1 安装前

在安装 Spark 之前需要先安装一下 Scala，因为 Spark 依赖于 Scala。所以我们先安装一下 Scala，先到Scala官网上下载一下 Scala 的压缩包。

Centos 7.4 安装单机版 Spark

然后我们将压缩包上传到 Centos 服务器上，怎么上传这里就不做细说。
我们将压缩包放到 /opt/scala 目录下，然后将其解压。

解压命令

tar -xvf scala-2.12.2.tgz

Bash

copy

Centos 7.4 安装单机版 Spark

0.2 配置环境变量

在 /etc/profile 中添加环境变量，添加 export SCALA_HOME=/opt/scala/scala-2.12.2 并在 path 中加入 ${SCALA_HOME}/bin:。

下面是我的环境变量。

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

Bash

copy

Centos 7.4 安装单机版 Spark

然后我们可以验证一下 scala:

Centos 7.4 安装单机版 Spark

到这里 scala 安装就完成了，接下来就是 Spark 的安装啦~~~

1. 安装 Spark

1.1 下载以及解压

与 Scala 相同我们先去逛网下载一下包，然后上传到服务器。

Centos 7.4 安装单机版 Spark

同理，我们将压缩包放到 /opt/spark 目录下，然后将其解压。

解压命令

tar -xvf spark-2.4.3-bin-hadoop2.7.tgz

Bash

copy

1.2 配置环境变量

大同小异，在 /etc/profile 中添加环境变量，添加 export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7 并在 path 中加入 ${SPARK_HOME}/bin:。

下面是我的环境变量。

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH

Bash

copy

Centos 7.4 安装单机版 Spark

1.3 配置 Spark

首先进入到解压文件的 conf 目录下，也就是是 /opt/spark/spark-2.4.3-bin-hadoop2.7/conf/，我们可以看到有一个模板文件，我们 copy 一份。

cp spark-env.sh.template spark-env.sh

Bash

copy

Centos 7.4 安装单机版 Spark

我们对拷贝的文件进行编辑，加入以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G

Bash

copy

同样我们拷贝一份 slaves