batch-scheduler batch-scheduler项目简介引用组件主要功能点介绍 介绍
batch-scheduler项目简介
这是一个企业级批次调度系统, 在成熟的spring框架基础上,实现ETL调度服务. 权限管理部分,采用asofdate
hauth项目. batch-
schduler与常见的任务调度系统侧重点不同，这个系统设计的初衷，是解决大批量存在依赖关系得任务调度。并不是为了解决定时任务调度。所以，batch-
scheduler系统与通常的定时任务调度系统存在一些差异。
引用组件
主要功能点介绍
调度服务主要业务流程
批次 任务组 job信息 batch 包含 group 包含 job 批次中多个group需要设置依赖关系,否则并行执行 任务组中多个job需要设置依赖关系,否则并行执行
ETL调度系统,最小的调度单元job，job可以是下边几种类型:
> 数据库存储过程 (已实现，单元测试完成，通过) > shell脚本 （已实现，单元测试完成，通过） > CMD批次处理脚本 （已实现，单元测试完成，通过） > 二进制可执行程序 （已实现，未测试） > JAR可执行文件 （已实现，未测试）
在job之上是任务组, 任务组是对任务的一个打包处理, 同一个任务,可以被任务组包含多次.
任务组内对每个job设置上下依赖关系,ETL调度引擎,会根据依赖关系执行job.
在任务组之上是批次, 同一任务组,在一个批次中可以配置多次, 调度引擎,会根据任务组的依赖关系,解析依赖,执行任务组中的job.
当一个批次被运行起来时, 会首先解析批次中的任务组依赖关系, 根据依赖关系, 找到最顶层的任务组,如果顶层是多个任务组,则并发启动多个任务组.
任务组被启动后,调度引擎会解析任务组中的任务依赖关系,执行任务组中最顶层的job,当上一个job执行完成后,将会自动触发下一个job,
当一个任务组中的job全部执行完成后,任务组状态被设置成”已完成”, 调度器将会解析下一个可以运行的任务组.
按照这个执行逻辑,直到所有的任务组中任务执行完成. 当所有任务执行完成后,调度器退出调度.
注意:一旦出现某个job执行失败,调度器将会停止调度这个批次. 其他正常运行的批次不受影响.
项目主要功能图:
batch-scheduler batch-scheduler项目简介引用组件主要功能点介绍 官网
https://github.com/hzwy23/batch-scheduler
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
