[BigDataHadoop：Hadoop&Spark.V06] [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore：Spark-Standalone集群模式&standalone配置&core&mamory|]
一、集群模式--Standalone模式
### --- 集群模式--Standalone模式
~~~ 参考：http://spark.apache.org/docs/latest/spark-standalone.html
~~~ 分布式部署才能真正体现分布式计算的价值
~~~ 与单机运行的模式不同，这里必须先启动Spark的Master和Worker守护进程；关闭 yarn 对应的服务
~~~ 不用启动Hadoop服务，除非要使用HDFS的服务### --- 使用jps检查，可以发现：
~~~ # 启动服务
[root@hadoop01 ~]# start-dfs.sh
[root@hadoop01 ~]# stopt-yarn.sh
[root@hadoop02 ~]# start-all-spark.sh### --- 使用浏览器查看：http://hadoop02:8080/
~~~ # 检查集群状态
[root@hadoop02 ~]# jps
Hadoop01：Worker
Hadoop02：Master、Worker
Hadoop03：Worker
三、Standalone配置
### --- Standalone 配置
~~~ sbin/start-master.sh / sbin/stop-master.sh
~~~ sbin/start-slaves.sh / sbin/stop-slave.sh
~~~ sbin/start-slave.sh / sbin/stop-slaves.sh
~~~ sbin/start-all.sh / sbin/stop-all.sh
~~~ 备注：./sbin/start-slave.sh [options]；启动节点上的worker进程，调试中较为常用### --- standalone配置：定义core和mamory参数
~~~ 在 spark-env.sh 中定义：定义spark-worker的core和mamory
~~~ 官方文档地址：http://spark.apache.org/docs/latest/spark-standalone.html
~~~ # 默认是使用所有的core和mamory
SPARK_WORKER_CORES：Total number of cores to allow Spark applications to use on the machine (default: all available cores).
SPARK_WORKER_MEMORY：Total amount of memory to allow Spark applications to use on the machine, e.g. 1000m, 2g (default: total memory minus 1 GiB); note that each application's individual memory is configured using its spark.executor.memory property.### --- 测试在 spark-env.sh 中增加参数，分发到集群，重启服务：
[root@hadoop02 ~]# vim $SPARK_HOME/conf/spark-env.sh
export SPARK_WORKER_CORES=10
export SPARK_WORKER_MEMORY=20g[root@hadoop02 ~]# rsync-script $SPARK_HOME/conf/spark-env.sh
[root@hadoop02 ~]# stop-all-spark.sh
[root@hadoop02 ~]# start-all-spark.sh ### --- 在浏览器中观察集群状态，测试完成后将以上两个参数分别改为10、20g，重启服务。
~~~ 修改回默认的配置
~~~ 发送到其它主机并重启服务
[root@hadoop02 ~]# vim $SPARK_HOME/conf/spark-env.sh
# export SPARK_WORKER_CORES=1
# export SPARK_WORKER_MEMORY=2g
附录一：定版本文件
### --- $SPARK_HOME/conf/spark-env.sh
[root@hadoop02 ~]# vim $SPARK_HOME/conf/spark-env.sh
export JAVA_HOME=/opt/yanqi/servers/jdk1.8.0_231
export HADOOP_HOME=/opt/yanqi/servers/hadoop-2.9.2
export HADOOP_CONF_DIR=/opt/yanqi/servers/hadoop-2.9.2/etc/hadoop
export SPARK_disT_CLAsspATH=$(/opt/yanqi/servers/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=hadoop02
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g===============================END===============================
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
来自为知笔记(Wiz)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
