集群搭建系列七 spark on yarn 3.0.1 待完善

文章目录

• • • • 1 下载、解压、软链
      • 2 环境变量配置
      • 3

1 下载、解压、软链

wget https://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

tar -zxvf spark-3.0.1-bin-hadoop2.7.tgz

ln -s spark-3.0.1-bin-hadoop2.7 spark

如果还不行可以在清华大学镜像站 或我留的备份下载

2 环境变量配置

2.1 vim /etc/profile

export SPARK_HOME=/opt/hadoop/spark
export PATH=$PATH:$SPARK_HOME/bin

2.2 source /etc/profile

检测下 Local 模式 运行在 linux 上 /tmp　权限
run-example SparkPi 10

spark-shell

3