微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

SimpleDistributedPlatform 纯 Java 的可视化分布式计算平台

程序名称:SimpleDistributedPlatform

授权协议: Apache

操作系统: 跨平台

开发语言: Java

SimpleDistributedPlatform 介绍

一个简单却实用的分布式计算平台,通过提交任务 jar 包来执行分布式任务。

NameNode 和 Datanode 这两个名字是直接引用的 Hadoop 里面的概念,但是更加简化:

  • NameNode:用于分发可执行 jar 包,收集中间计算结果,合并汇总最终计算结果。

  • Datanode:用于接收可执行 jar 包,执行指定的任务方法,上报计算(中间)结果。

  • MyZooKeeper:用于注册与查找 MQ 服务。

  • NameNode 和 Datanode 通过 MQ 进行异步通信。

运行原理:

Datanode 上线时,向 MQ 发送一条 Datanode 上线的消息,NameNode 监听该消息,并在 NameNode 本地维护一个
List 的列表。 当 NameNode 下发可执行 jar 包时,NameNode 依次向本地的 List
每条记录发送一条可执行任务的消息,消息内包含 jar 包的URL地址。每个 Datanode 收到消息后执行可执行 jar
包的指定方法,并上报中间数据。当每个 Datanode 执行完毕后,要执行一个 end() 方法,代表该 Datanode 已经执行完毕了。当
Namenode 收到了所有的 Datanode 的自己执行完毕的消息后,开始对所有的中间结果计算合并,最终算出汇总的值。

SimpleDistributedPlatform 官网

https://gitee.com/lnwazg/SimpleDistributedPlatform

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐