RDD的分区是什么？
RDD，顾名思义它是分布式的，那么它是怎么实现分布式呢？答案就是分区，也即是一个RDD会将计算逻辑分布在整个集群中。这很像kafka中的topic的分区，通过水平扩展的方式提供系统的吞吐量。那么分区是如何分布在整个集群中呢？我们拿hdfs举例，假设hdfs上有一个文件A，大小为1个GB，hdfs默认会将这个文件切割成多个block，每个block为128MB，那么A拥有4个主block，因为hdfs会对文件做冗余，一个block有2个备份。所以A一共有12个block。这12个block分散在集群的不同的节点上，当一个RDD需要引用文件A时，它会分配4个分区，每个分区对应一个主block和两个备block，然后将计算逻辑发送到block所在的节点进行运算。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
