Spark调优

一、任务调参

1.1 spark.executor.memory

executor执行分配的内存大小

1.2 spark.executor.cores

executor执行分配的核数

1.3 spark.executor.instances

需要的executor个数，等同num-executors，可以使用 spark.dynamicAllocation.enabled

1.4 spark.executor.memoryOverhead="1024m'

这个参数表示每个executor配备的可使用的堆外内存大小。在调spark应用程序时可能经常会碰到OOM，然后错误日志中提示让提高这个参数指定的值的情况。这种情况其实多发生在有数据倾斜的情况，这个调整经常是治标不治本，解决倾斜是根本。默认情况是配置的executor内存容量的10%

1.5 spark.executor.extrajavaoptions

Jvm参数值

1.6 spark.dynamicAllocation.enabled

可以避免使用spark.executor.instances或num-executors，使用动态资源分配，动态分配可以使的 Spark 的应用在有后续积压的在等待的 task 时请求 executor，并且在空闲时释放这些 executor