spark集群的配置文件

spark.env.sh

#指定yarn的配置文件地址
YARN_CONF_DIR=/opt/module/hadoop-2.7.7/etc/hadoop
#指定JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_261

#指定Spark Master 地址
export SPARK_MASTER_HOST=hadoop102
export SPARK_MASTER_POST=7077

#指定spark的运行参数
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080
 -Dspark.history.retainedApplications=3
 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark_log"

spark.defaults.conf

spark.eventLog.dir 指定spark的日志存放地方，可以根据自己的集群换掉

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:9000/spark_log
spark.eventLog.compress          true