一、客户端提交spark应用程序
是指在spark集群之外的机器,提交spark应用程序到spark集群运行。
二、spark-submit提交程序语法
使用spark-submit工具提交Spark应用程序的语法:
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
--class 应用程序的入口类名;
--master spark 集群的url;
--deploy-mode 部署方式;
--conf 应用程序的sparkContext配置选项;
--application-jar 外部依赖;
--application-arguments 应用程序参数;
三、在客户端使用spark-submit提交spark应用程序时需要注意的事项
1)、客户端机器与spark集群必须互相知道,即相互ping得通;
2)、如果应用程序中用到了本地文件,那么集群中的worker机器都必须有该文件,否则会报找不到文件;
3)、windows客户端,如果应用程序中用到本地文件,那么无法提交到linux环境下的spark集群;
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。