/* * Todo 关于 SparkConf 的作用 * 1. spark的配置对象 用来初始化 Spark application 的配置信息 * 2. 用 SparkConf.set("key","value") 的方式来注入配置信息 * 3. 用 SparkConf对象 指定的配置信息,优先级是最高的(该对象的任何设置都会覆盖默认配置和系统属性) * SparkConf.set("key","value") > 外部配置信息 > 系统默认设置 * 4. 参数 * 是否 加载系统配置 和 classpath的配置 作为当前应用的配置,true是 false否 * * * Todo 关于 SparkContext 的作用 * 1. Spark 功能的主要入口类 * 2. 一个 SparkContext对象 表示 spark到集群的 连接对象 * 3. 可以用 SparkContext对象 在集群上 创建RDD accumulators broadcast * 4. 每个JVM中 只能有一个活跃的 SparkContext对象,必须将现有对象 stop()才能创建新的 SparkContext对象 * * Todo 关于 日志级别 的设置 * 方式1: 不设置,使用系统默认配置 * Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties * 方式2: 在工程 resources目录下添加 log4j.properties * 内容可以参考 org/apache/spark/log4j-defaults.properties * 方式3: 用 spark环境对象SparkContext 来指定(优先级是最高的) * SparkContext.setLogLevel("") * 日志级别: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN * * Todo 关于 SparkUI * * */
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
