阅读 24 SEO

百问中台:数据中台Azkaban之自动化调度

概述

ODDA模型建成之后,就开始采用Azkaban进行自动化调度。

数据

初始化数据:

mysql
use mall;
CALL init_data('2021-03-31', 300, 200, 300, FALSE);

脚本

在本地编写job文件,打包上传到Azkaban。

  • import.job
type=command
do_date=${dt}
command=/home/warehouse/shell/sqoop_import.sh all ${do_date}
  • ods.job
type=command
do_date=${dt}
dependencies=import
command=/home/warehouse/shell/ods_db.sh ${do_date}
  • dwd.job
type=command
do_date=${dt}
dependencies=ods
command=/home/warehouse/shell/dwd_db.sh ${do_date}
  • dws.job
type=command
do_date=${dt}
dependencies=dwd
command=/home/warehouse/shell/dws_db.sh ${do_date}
  • ads.job
type=command
do_date=${dt}
dependencies=dws
command=/home/warehouse/shell/ads_sale.sh ${do_date}
  • export.job
type=command
do_date=${dt}
dependencies=ads
command=/home/warehouse/shell/sqoop_export.sh all ${do_date}

最后,打包成mall-job.zip 。

Azkaban自动化调度

  • 在全部节点上启动Azkaban:
[root@node01 ~]# azkaban-executor-start.sh 
[root@node02 ~]# azkaban-executor-start.sh 
[root@node03 ~]# azkaban-executor-start.sh 
  • 启动node03的azkaban的web服务器
cd /opt/app //所有大数据组件都在这里安装
apache-hive-1.2.1-bin  apache-tez-0.9.1-bin  azkaban  hadoop-2.7.7  presto-server-0.196  sqoop-1.4.6.bin__hadoop-2.0.4-alpha

cd /opt/app/azkaban/server/
azkaban-web-start.sh 
  • 打开web界面
  • 用户名密码admin:admin


    web
  • 创建项目


    创建项目
  • 上传mall-job


    上传任务脚本
  • 展现依赖关系


    依赖关系
  • 执行流程Execute Flow


    Execute Flow Export
  • 配置参数


    参数
  • 执行


    执行
  • 执行过程


    任务列表图形

    任务列表

    日志
  • 执行结果
mysql> select * from ads_sale_tm_category1_stat_mn;

作者:sknfie

原文链接:https://www.jianshu.com/p/92f113cb91ce

文章分类
后端
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 gxwowoo@163.com 举报,一经查实,本站将立刻删除。
相关推荐