单节点伪集群 Spark on yarn

前提环境：

　　单节点伪集群：Hadoop + zookeeper + Hbase

　　https://www.cnblogs.com/Sleepy-ff/p/11737339.html

 

资源下载：

　　http://mirror.bit.edu.cn/apache/spark/

 

（1.）　　下载解压

（2.）　　配置环境变量

　　vim 　　/etc/profile　　　　

　　

 

　　source 　　/etc/profile

（3.）　　修改配置文件

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

// 以下是spark-env.sh 中新增内容
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoo

 （4.）　　配置完成即可启动spark

spark-shell --master yarn --deploy-mode client

 

注：若启动报错，可参考文章： https://blog.csdn.net/chengyuqiang/article/details/77864246