pyspark --master local 私用一个workder线程本地话运行spark(完全不并行)
pyspark --master local[*] 使用逻辑cpu个数数量的线程来本地化运行Spark
pyspark --master local[k] 使用k个worker线程本地话spark(理想情况下，k应该更具运行及其的cpu内核数设定)
pyspark --master spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077
pyspark --master yarn-client 以客户端模式连接YARN集群，集群的位置可以在HADOOP_CONF_DIR环境变量中找到
pyspark --master yarn-cluster 以集群模式连接YARN集群，集群的位置可以在HADOOP_CONF_DIR环境变量中找到
pyspark --master mesos://HOST:PORT 连接到指定的Mesos集群，默认端口是5050
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
