Azkaban快速入门 - fx67ll's blog

先说一些废话

因为之前自己工作中有用过Azkaban作为自动化任务调度工具，所以想参考自己之前的使用经验，总结一下关于Azkaban的使用，方便大家使用Azkaban快速实现企业级自动化任务

如何选择市面上的任务调度工具

简单的任务
Linux crontab是用来定期执行程序的命令
复杂的任务
Oozie/Azkaban/Airflow/DolphinScheduler
Azkaban 是一个分布式工作流管理程序，解决Hadoop工作依赖性问题
Oozie 相比 Azkaban 是一个重量级的任务调度系统，功能全面，但配置使用也更复杂
Airflow 使用python脚本
DolphinScheduler 使用可视化的方式操作，国产，所以现在比较火

Azkaban和Oozie之间的区别

总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂，
如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象

功能
- 两者均可以调度linux、mapreduce、pig、spark、java等脚本工作流任务
- 两者均可以定时执行工作流任务
工作流定义
- Azkaban使用Properties文件定义工作流
- Oozie使用XML文件定义工作流
工作流传参
- Azkaban支持直接传参，例如${input}
- Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}
定时执行
- Azkaban的定时执行任务是基于时间的
- Oozie的定时执行任务基于时间和输入数据，功能强大，但是带来配置的复杂度比较高
资源管理
- Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作
- Oozie暂无严格的权限控制，多人协作就比较麻烦了
工作流执行
- Azkaban有三种运行模式：solo server mode、 two server mode、multiple executor mode
- Oozie作为工作流服务器运行，支持多用户和多工作流
工作流管理
- Azkaban支持浏览器以及ajax方式操作工作流
- Oozie支持命令行、HTTP REST、Java API、浏览器操作工作流
依赖
- Azkaban依赖于MySql
- Oozie依赖于hadoop

什么是Azkaban

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，
它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。
Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban的特点

兼容任何版本的hadoop
易于使用的Web用户界面
简单的工作流的上传
方便设置任务之间的关系
调度工作流
模块化和可插拔的插件机制
认证/授权(权限的工作)
能够杀死并重新启动工作流
有关失败和成功的电子邮件提醒

架构

AzkabanWebServer

AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务

AzkabanExecutorServer

负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行

关系型数据库（MySQL）

存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库

部署模式

Solo
- WebServer和ExecServer都启动在一个JVM中，就一个进程
- 使用内置的H2数据库来存储元数据
Two Server
- 一台机器模式：只有一台ExecutorServer
- WebServer和ExecutorServer是不同的独立的进程
- 使用MySQL存储元数据
Multiple Executor
- 从3.+ 开始，支持多个Executor
- 多台机器模式：多个ExecutorServer
- WebServer和Executor可以不在一台机器上
- 使用MySQL存储元数据

使用多Executor模式的注意事项

为确保所选的 Executor 能够准确的执行任务，我们须在以下两种方案任选其一，推荐使用方案二

方案一：指定特定的 Executor（hadoop101）去执行任务
- 在MySQL中Azkaban数据库executors表中，查询hadoop101上的Executor的id
- 在执行工作流程时加入useExecutor属性
方案二：在Executor所在所有节点部署任务所需脚本和应用

安装依赖包及其作用

# 该包中就是所有的建表语句，主要是配置 MySQL
azkaban-db-3.84.4.tar.gz  

# 执行服务器（Executor）配置
azkaban-exec-server-3.84.4.tar.gz  

# 服务器（Web）配置
azkaban-web-server-3.84.4.tar.gz

访问端口号

默认是8443，可以通过修改配置文件azkaban.properties的方式更改端口号
端口号使用规则：jetty.ssl.port > jetty.port
但是使用jetty.ssl.port的前提是jetty.use.ssl = true，这个配置表示开启ssl安全套接层，否则使用jetty.port端口

# 示例配置文件
jetty.use.ssl=false
jetty.maxThreads=25

jetty.ssl.port=8443
jetty.port=8081

jetty.keystore=keystore
jetty.password=password
jetty.keypassword=password
jetty.truststore=keystore
jetty.trustpassword=password

基本使用

主要功能

Projects：最重要的部分，创建一个工程，所有flows将在工程中运行
Scheduling: 显示定时任务
Executing: 显示当前运行的任务
History: 显示历史运行任务

基本流程步骤

首先需要说明的是因为利用界面化操作，所以相关的文件直接在本地windows系统里去编辑，创建，打包zip即可

创建xxx.project工程文件

# 作用：
  # 表示采用新的 Flow-API 方式解析 flow 文件
# 内容：
  # 表示当前解析 flow 文件的 azkaban 版本为 2.0
azkaban-flow-version: 2.0

创建xxx.flow流程任务文件

# 作用：
  # 表示作业调度过程
# 内容：
  # yaml 语法的编写
  # name 表示 job 的名称
  # type 表示 job 的类型
  # command 表示你要执行作业的方式为命令，这里意思输入Hello World
nodes:
  - name: jobA
	type: command
	config:
	  command: echo "Hello World"

将上述两个文件压缩成一个.zip文件，并上传 需要注意的是：压缩包的文件名称必须是英文
上传后，如果想看Job的内容是什么，可以在Job Command中可以查看解析出任务内容
点击Flows中Command任务，可以进入到任务的具体界面，Execute可以执行任务，Schedul可以进行定时调度
执行后的任务中，点击Job List可以查看执行日志，Flow Log可以查看流程日志，绿色表示成功，蓝色表示正在执行，红色表示执行失败
任务执行后，可以在History中查看任务历史记录

常见任务类型

执行 shell 命令

type=command
command=echo 'hello-world'

执行 shell 脚本

type=command
command=sh hello-world.sh

执行 Spark 程序

type=command
command=/usr/install/spark/bin/spark-submit --class com.test.AzkabanTest test-0.1.0.jar

执行 hive 命令、脚本

type=command
command=beeline -u jdbc:hive://localhost:7777 -n hive -p hive -f 'test.sql'

执行 MapReduce 程序

type=command
command=${HADOOP_HOME}bin/hadoop jar hadoop-mapreduce-examples--0.1.0.jar
mapreduce-test ${input} ${output}

多任务依赖案例

使用dependsOn属性来表示依赖，他的值是一个数组

# 示例 basic.flow
# JobA 和 JobB 执行完了，才能执行 JobC

nodes:
  - name: jobA
  type: command
  config:
    command: echo "I’m JobA"

  - name: jobB
  type: command
  config:
    command: echo "I’m JobB"

  - name: jobC
    type: command
    # jobC 依赖 JobA 和 JobB
    dependsOn:
      - jobA
      - jobB
    config:
      command: echo "I’m JobC"

失败重试

自动失败重试

使用retries和 retry.backoff来配置重试次数，重试的时间间隔

# 示例 basic.flow，在任务中配置
nodes:
  - name: JobA
    type: command
    config:
      # 执行脚本
      command: sh xxx.sh
	  # 重试次数 3次
      retries: 3
	  # 重试间隔时间 10000ms 也就是10s
      retry.backoff: 10000
	  
# 示例 basic.flow，在flow的全局配置
config:
  retries: 3
  retry.backoff: 10000
nodes:
  - name: jobA
    type: command
    config:
      command: sh xxxq.sh
  - name: jobB
  type: command
  config:
    command: sh xxxb.sh
  - name: jobC
    type: command
    dependsOn:
      - jobA
      - jobB
    config:
      command: sh xxxc.sh

手动失败重试

在Flow View界面右键点击需要重拾的Job，选择需要的重新执行的某个过程，Enable和Disable下面都分别有如下参数：

Parents：该作业的上一个任务
Ancestors：该作业前的所有任务
Children：该作业后的一个任务
Descendents：该作业后的所有任务
Enable All：所有的任务

运行Java主类方法

JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaprocess，可用的配置为：

Xms：最小堆
Xmx：最大堆
classpath：类路径
java.class：要运行的Java对象，其中必须包含Main方法
main.args：Main方法的参数

运行Java主类方法案例

# 示例 basic.flow
nodes:
  - name: test_java
    type: javaprocess
    config:
      Xms: 96M
      Xmx: 200M
      java.class: com.fx67ll.springboot.AzkabanTest

使用条件工作流

使用运行时参数来使用条件

基本原理
- 父Job将参数写入 JOB_OUTPUT_PROP_FILE 所指向的环境变量文件
- 子Job使用EL表达式 ${jobName:param} 来获取父Job输出的参数并定义执行条件

支持的条件参数

== 等于
!= 不等于
> 大于
>= 大于等于
< 小于
<= 小于等于
&& 与
|| 或
! 非

案例：JobB依赖JobA，但是JobB不需要每天都执行，只需要每个周一执行

# 示例 JobA.sh
echo "do JobA"
# 获取当前是周几
wk=`date + %w`
echo "{\"wk\":$wk}" >$JOB_OUTPUT_PROP_FILE

# 示例 JobB.sh
echo "do JobB"

# 示例 basic.flow
nodes:
  - name: jobA
	type: command
	config:
	  command: sh JobA.sh
  - name: jobB
	type: command
	dependsOn:
	  - jobA
	config:
	  command: sh JobB.sh
	  condition: ${JobA:wk} == 1

使用预定义宏

Azkaban 中预置了几个特殊的判断条件，称为预定义宏，预定义宏会根据所有父 Job 的完成情况进行判断，再决定是否执行，可用的预定义宏如下：
```
# all_success: 表示父 Job 全部成功才执行(默认)
# all_done：表示父 Job 全部完成才执行
# all_failed：表示父 Job 全部失败才执行
# one_success：表示父 Job 至少一个成功才执行
# one_failed：表示父 Job 至少一个失败才执行

# 示例 JobA.sh
echo "do JobA"

# 示例 JobB.sh
echo "do JobB"

# 示例 JobC.sh
echo "do JobC"

# 示例 basic.flow
nodes:
  - name: jobA
	type: command
	config:
	  command: sh JobA.sh
  - name: jobB
	type: command
	config:
	  command: sh JobA.sh
	dependsOn:
	  - jobA
	  - jobB
	config:
	  command: sh JobC.sh
	  condition: one_success
	  
# 提交的时候故意不提交 JobB.sh，以测试预定义宏是否生效  
```

定时执行

在执行工作流时候，选择左下角Schedule按钮，在Schedule Flow Options配置即可

告警

邮件告警

可以参考视频教程————大数据Azkaban教程详细学习，这里后期会补上说明

电话告警