Spark-2.4.0安装教程附scala、spark资源

安装Spark

• 安装Scala
• 安装Spark
• 测试
• • 开启spark-shell

安装Scala

环境配置：

			  VMware 15
			  jdk1.8
			  hadoop-2.7.1
			  scala-2.11.12
			  spark-2.4.0

虚拟机：

		  master
		  slave1
		  slave2

资源（内含scala、spark）：

链接：https://pan.baidu.com/s/1FLA_ei6PgemmsahzXTsjIg
提取码：7i68

环境交待完毕，进入正题。

首先，将scala传至虚拟机（可使用xshell等工具）再解压到目标路径，最后修改环境变量并测试。

解压命令： tar -zxvf 压缩包路径名 -C 目标路径
举例（此时压缩包在当前目录，故可以直接用压缩包名）：

进入安装目录：
使用命令 pwd ， 获取路径 将其复制下来。

紧接着配置环境变量，使用命令
vi /etc/profile
进入界面，按“i”进入编辑模式：
将复制好的路径赋值给SCALA_HOME
（注意！配置环境变量 “=” 两边不能有空格！！！）

最后，测试一下：
使用命令：

scala -version

还要将其分发给子节点（举例）

scp -r /usr/local/scala-2.11.12 root@slave1:/usr/local

安装Spark

将spark解压到指定目录后，进入其conf目录下。
使用命令将spark-env.sh.template 变成 spark-env.sh

mv spark-env.sh.template spark-env.sh

使用命令进入 spark-env.sh 编辑：

vi spark-env.sh

配置spark-env.sh文件
将下面内容 按自身情况 添加进去。

export SPARK_MASTER_IP=master
export SCALA_HOME=/usr/local/scala/scala-2.11.12
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

保存退出。

然后，使用命令

mv slaves.template slaves
vi slaves

下一步，配置spark环境变量

vi /etc/profile

#Spark
export  SPARK_HOME=/usr/local/spark-2.4.0
export  PATH=$SPARK_HOME/bin:$PATH

保存退出后，不要忘记 使环境变量生效：

source /etc/profile

在master配置好后，分发给其他节点（举例）：

scp -r /usr/local/spark-2.4.0 root@slave1:/usr/local/

环境变量也一起同步一下吧（举例）：

scp -r /etc/profile root@slave1:/etc

测试

因为我们安装的是spark on yarn 模式，所以，接下来我们需要先开启hadoop环境。
我们只需要在 master节点上开启Hadoop集群，成功开启Hadoop集群后，再开启spark集群（集群开启都只在主节点上操作）
spark集群开启命令（需对应自己的路径）：

/usr/local/spark-2.4.0/sbin/start-all.sh

测试成功！

我们可以打开浏览器查看，主机IP:8080

开启spark-shell

我们来简单体验一下 spark-shell 以及 pyspark 进入到spark的交互模式：
首先是 spark-shell：
使用命令：

spark-shell

再体验一下进入python环境下的spark交互模式
使用命令：

pyspark

安装，测试，体验到此结束。