- 大数据平台中JDK版本尽量使用1.8。我开始使用的是openJDK11，结果yarn启动不起来，出现了很多异常，还需要一些特殊的配置。
- 如果hadoop 集群中namenode 使用了HA配置的话，在使用Spark时 需要将core-site.xml和hdfs-site.xml拷贝到Spark的conf路径中，并修改spark-default.conf.template文件。否则会有java.lang.IllegalArgumentException: java.net.UnkNownHostException: hacluster 出现。
具体操作步骤：
1.复制Hadoop目录下etc/hadoop中的hdfs-site.xml和core-site.xml文件到spark的conf/目录下；
2.将spark的conf/目录下的spark-default.conf.template更名为spark-default.xml(mv spark-default.conf.template spark-default.xml)；
3.在spark-default.xml文件中添加如下配置(具体路径以自己实际路径为准)：
spark.files file:///usr/local/soft/spark-1.6.0/conf/hdfs-site.xml,file:///usr/local/soft/spark-1.6.0/conf/core-site.xml
引用链接：https://blog.csdn.net/sunhaoning/article/details/62214728版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
