oozie:基于 Apache Hadoop 生态的工作流调度系统项目

A work-flow scheduling system for Apache Hadoop.

分支1Tags0
文件最后提交记录最后更新时间
5 年前
7 个月前
4 年前
4 年前
5 年前
5 年前
4 年前
5 年前
5 年前

oozie

介绍

A work-flow scheduling system for Apache Hadoop.

软件架构

Apache Oozie是Apache Hadoop生态的核心工作流调度系统,采用分层架构设计:客户端通过REST API提交作业,服务层的Oozie Server作为中央控制器管理作业生命周期(状态持久化至MySQL/PostgreSQL数据库),执行层包含工作流引擎(基于DAG编排任务流)、协调器引擎(按时间/数据触发调度)和动作处理器(将节点转换为Hive/Spark/MapReduce等具体计算任务),深度集成YARN/Kubernetes资源管理,并通过Kerberos实现安全认证,支持多实例部署保障高可用性。

安装教程

  1. https://oozie.apache.org/docs/5.2.1/AG_Install.html

使用说明

  1. https://oozie.apache.org/docs/5.2.1/DG_QuickStart.html

项目介绍

A work-flow scheduling system for Apache Hadoop.

定制我的领域