- spark是用来进行分布式计算的，那分布式计算要解决那些问题呢？
- 得知道数据在哪吧
- 多个节点，如何把任何分发到各个节点：任务划分调度
- 多个节点，一个节点出错，总不能全部重算，需要容错，容错又有横、纵2个维度。所以需要血缘 + 缓存
- 调优
- 要求HA、可监控
为了解决以上问题，spark推出了rdd。
- 而spark是如何解决这些问题的，就是我们需要学习的。问题有以下这些：
1.任务划分调度
2.血缘
3.内存管理
4.调优
5.外加基础功能：通信、序列化、跟yarn交互 - 以上这些问题之外，还有一些零散的面试题：
1.spark为啥选择scala
2.spark为啥比mr快
3.spark宽窄依赖划分
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
