Azkaban简介

阅读量：243 次

发布时间：2019-03-01

本文共 467 字，大约阅读时间需要 1 分钟。

Azkaban简介

一、Azkaban 介绍

1.1 背景

一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：

如何定时调度某个任务？

如何在某个任务执行完成后再去执行另一个任务？

如何在任务失败时候发出预警？

…

面对这些问题，工作流调度系统应运而生。Azkaban 就是其中之一。

1.2 功能

Azkaban 产生于 LinkedIn，并经过多年生产环境的检验，它具备以下功能：

兼容任何版本的 Hadoop

易于使用的 Web UI

可以使用简单的 Web 页面进行工作流上传

支持按项目进行独立管理

定时任务调度

模块化和可插入

身份验证和授权

跟踪用户操作

支持失败和成功的电子邮件提醒

SLA 警报和自动查杀失败任务

重试失败的任务

Azkaban 的设计理念是在保证功能实现的基础上兼顾易用性，其页面风格清晰明朗，下面是其 WEB UI 界面：

二、Azkaban 和 Oozie

<

转载地址：http://ikxv.baihongyu.com/

你可能感兴趣的文章

Mysql学习总结（72）——MySQL 开发者开发，设计规范再总结

Mysql学习总结（73）——MySQL 查询A表存在B表不存在的数据SQL总结

Mysql学习总结（74）——慢SQL！压垮团队的最后一根稻草！

Mysql学习总结（75）——并发量大、数据量大的互联网业务数据库设计军规

Mysql学习总结（76）——MySQL执行计划（explain）结果含义总结

Mysql学习总结（77）——温故Mysql数据库开发核心原则与规范

Mysql学习总结（78）——MySQL各版本差异整理

Mysql学习总结（79）——MySQL常用函数总结

Mysql学习总结（7）——MySql索引原理与使用大全

Mysql学习总结（80）——统计数据库的总记录数和库中各个表的数据量

Mysql学习总结（81）——为什么MySQL不推荐使用uuid或者雪花id作为主键？

Mysql学习总结（82）——MySQL逻辑删除与数据库唯一性约束如何解决？

Mysql学习总结（83）——常用的几种分布式锁：ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结

Mysql学习总结（84）—— Mysql的主从复制延迟问题总结

Mysql学习总结（85）——开发人员最应该明白的数据库设计原则

Mysql学习总结（8）——MySql基本查询、连接查询、子查询、正则表达查询讲解

Mysql学习总结（9）——MySql视图原理讲解与使用大全

Mysql学习笔记 - 在Centos7环境下离线安装Mysql

MySQL学习笔记十七：复制特性

Mysql学习第一课-mysql的定义及sql语句