微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark Streaming 工作节点容错

为了应对工作节点失败的问题,Spark Streaming 使用与 Spark 的容错机制
相同的方法。所有从外部数据源中收到的数据都在多个工作节点上备份。所有
从备份数据转化操作的过程 中创建出来的 RDD 都能容忍一个工作节点的失
败,因为根据 RDD 谱系图,系统可以把丢 失的数据从幸存的输入数据备份
中重算出来。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐