1、RDD[(k,v)] join()优化，join之前会对两个RDD的key做hash，通过网络把相同hash值的数据传到同一个节点，因此对多次join的RDD 做预分区与持久化可提高效率。
map()操作会失去父RDD的信息，因为key值有可能发生改变，但 mapValues()、flatMapValues()不会。多父RDD已分区，默认采取第一个父RDD的分区方式
cogroup() 、groupWith() 、 join() 、 leftOuterJoin() 、 rightOuterJoin() 、 groupByKey() 、 reduceByKey() 、combineByKey() 以及 lookup() 等发生跨节点数据混洗的操作都可以进行优化。
RDD.partitionBy( new HashPartitioner(3)).persist(StorageLevel.MEMORY_AND_disK_SER)//构造3个分区
RDD.partitioner//获取分区信息
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
