大数据调度平台分类大对比(Oozie/Azkaban/AirFlow/XXL-Job/DolphinSche...
1、大数据调度平台是大数据作业的驱动器，本文将对比Oozie、Azkaban、AirFlow、XXL-Job和DolphinScheduler。首先，Oozie是一个工作流协调系统，支持Hadoop的各种任务类型，包括MR、JAVA MR等，但配置复杂，依赖关系通过xml定义，提供任务监控但可能遇到死锁问题。
2、大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结，结合目前阿里云上的MaxCompute中的调度系统，做个对比。Oozie是一个workflow（工作流）协调系统，是由Cloudera公司贡献给Apache的，主要用来管理hadoop作业（job）。
3、Azkaban：由LinkEDIn开源的批量工作流任务调度器，支持定义任务依赖关系并提供web界面管理。相较于Oozie，Azkaban的用户界面友好，易于上手，但安全性及任务失败恢复机制相对Oozie有所欠缺。
本文来自作者[真实自由]投稿，不代表域帮网立场，如若转载，请注明出处：http://www.yubangwang.com/1021.html
评论列表（4条）
我是域帮网的签约作者“真实自由”！
希望本篇文章《调度大数据（调度数据网）》能对你有所帮助！
本站[域帮网]内容主要涵盖：鱼泽号
本文概览：大数据调度平台分类大对比(Oozie/Azkaban/AirFlow/XXL-Job/DolphinSche...1、大数据调度平台是...