赫拉(hera)分布式任务调度系统之开发中心(三)

赫拉

大数据平台,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题,甚至在任务调度执行中出现错误的情况下,任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生的一款分布式调度系统。随着hera集群动态扩展,可以承载成千上万的任务调度。它是一款原生的分布式任务调度,可以快速的添加部署wokrer节点,动态扩展集群规模。支持shell,hive,spark脚本调度,可以动态的扩展支持python等服务器端脚本调度。

项目地址:git@gitee.com:dfire/hera.git

赫拉(hera)分布式任务调度系统之架构,基本功能(一)

赫拉(hera)分布式任务调度系统之项目启动(二)

赫拉(hera)分布式任务调度系统之开发中心(三)

赫拉(hera)分布式任务调度系统之版本(四)

赫拉(hera)分布式任务调度系统之Q&A(五)

简介

开发中心,顾名思义。我们进行开发的地方(当然我们也可以直接在调度中心加任务,建议任务首先在开发中心测试,通过之后再加到调度中心)。

项目地址:git@gitee.com:scx_white/hera.git

目录介绍

在这里插入图片描述
如图所示,开发中心有两个文件夹。分别是个人文档共享文档。这两个文件夹不允许删除。

  • 个人文档
    提供给账户登录者使用的,私人目录可以在这里创建,执行任务时的用户,以创建者为准
  • 共享文档
    文件夹内的脚本对所有用户可见,执行时任务的用户以实际的登录者为准

创建一个脚本

鼠标放在个人中心,然后点击鼠标右键选择新建shell脚本。
在这里插入图片描述

然后在编辑区写入要执行的脚本内容点击执行即可

在这里插入图片描述

此时在编辑区下方会有当前执行任务日志信息输出

在这里插入图片描述

当然也可以通过点击下方历史日志看所有日志信息。
在这里插入图片描述

执行选中的代码

我们可以通过在编辑区使用鼠标选中我们要执行的代码,然后点击执行选中代码即可
在这里插入图片描述

上传资源

当需要上传资源(py, jar, sql, hive, sh, js, txt, png, jpg, gif等等)时要注意,要保证我们的masterworkhadoop环境,能够执行hadoop fs -copyFromLocal命令。
上传完资源后。
在这里插入图片描述

最上方会返回该资源文件的使用地址。

/hera/hdfs-upload-dir/hera-20181229-110455.sql

如果我们是使用spark-submit 或者hive udfadd jar 命令,直接加上hadoop路径即可。

比如:

    add jar hdfs:///hera/hive_custom_udf/2dfire-hivemr-log.jar;

或者:

spark2-submit --class com.dfire.start.App \
--jars hdfs:///spark-jars/common/binlog-hbase-1.1.jar \

当然如果是一些python脚本,或者txt。我们需要下载下来执行的。就需要执行

download[hdfs:///hera/hdfs-upload-dir/hera-20181229-110455.sql hera.sql]

启动downloadhera的定制命令。[]分为两部分,使用空格分开。空格左部分为hdfs文件的路径,空格右部分为重命名后的文件名
在这里插入图片描述

同步任务

暂未开发

脚本自动保存

当在开发中心写脚本时,脚本会自动保存。当然也可以通过点击保存脚本进行手动保存。

加入群聊

在这里插入图片描述

个人微信(失效加我拉你进去)
在这里插入图片描述

展开阅读全文
©️2020 CSDN 皮肤主题: 像素格子 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值