SimpleDistributedPlatform 介绍
一个简单却实用的分布式计算平台,通过提交任务 jar 包来执行分布式任务。
NameNode 和 Datanode 这两个名字是直接引用的 Hadoop 里面的概念,但是更加简化:
-
NameNode:用于分发可执行 jar 包,收集中间计算结果,合并汇总最终计算结果。
-
MyZooKeeper:用于注册与查找 MQ 服务。
-
NameNode 和 Datanode 通过 MQ 进行异步通信。
运行原理:
Datanode 上线时,向 MQ 发送一条 Datanode 上线的消息,NameNode 监听该消息,并在 NameNode 本地维护一个
List
每条记录发送一条可执行任务的消息,消息内包含 jar 包的URL地址。每个 Datanode 收到消息后执行可执行 jar
包的指定方法,并上报中间数据。当每个 Datanode 执行完毕后,要执行一个 end() 方法,代表该 Datanode 已经执行完毕了。当
Namenode 收到了所有的 Datanode 的自己执行完毕的消息后,开始对所有的中间结果计算合并,最终算出汇总的值。
SimpleDistributedPlatform 官网
https://gitee.com/lnwazg/SimpleDistributedPlatform
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。