调度系统重构项目.

总体介绍

业务场景

数据平台核心作业调度管理系统

核心需求

• 支持多种不同类型的作业调度任务, 当前主要目标:

  • 高优先 : Hive / MR / Java / Shell
  • 低优先 : SSH / Python (可以考虑用通用方式处理?)

• 自动化动态部署作业运行环境

  • 通过参数配置,后台管理等形式, 使用户能动态的集中管理和部署作业运行所需环境, 无需在集群上提前静态部署相关环境.

• 用户权限管理

  • 对用户权限能方便的进行管理, 包括用户对作业相关的操作权限, 对资源的使用权限等

• 灵活的外部接入方式

  • 需要提供统一的业务接入模式和编程接口

• 监控

  • 需要提供作业运行状态和集群本身的监控