我也要用- 博客(5)
- 资源 (12)
- 论坛 (2)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 赫拉(hera)分布式任务调度系统之开发中心(三)
简介开发中心，顾名思义。我们进行开发的地方（当然我们也可以直接在调度中心加任务，建议任务首先在开发中心测试，通过之后再加到调度中心）。目录介绍如图所示，开发中心有两个文件夹。分别是个人文档、共享文档。这两个文件夹不允许删除。个人文档提供给账户登录者使用的，私人目录可以在这里创建，执行任务时的用户，以创建者为准共享文档文件夹内的脚本对所有用户可见，执行时任务的用户以实际的登录者...
2018-12-29 11:30:09
2496
原创 赫拉(hera)分布式任务调度系统之项目启动(二)
创建表克隆hera暂时还未开源 后面补上。当使用git把hera克隆到本地之后，首先在hera/hera-admin/resources目录下找到hera.sql文件，在自己的数据库中新建这些必要的表，并插入初始化的数据。克隆到本地后，即可使用maven的打包命令进行打包mvn clean package -Dmaven.test.skip -Pdev打包后可以进入hera-admi...
2018-12-22 11:25:00
4650
原创 赫拉(hera)分布式任务调度系统之架构，基本功能(一)
前言在大数据平台，随着业务发展，每天承载着成千上万的ETL任务调度，这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题，甚至在任务调度执行中出现错误的情况下，任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生的一款分布式调度系统。随着hera集群动态扩展，可以承载成千上万的任务调度。它是一款原生的分布式任务调...
2018-12-20 17:14:38
8617
3
原创 spark streaming被压分析
在我们使用spark-streaming处理实时数据时，通常在Dstream端的rdd操作较为耗时，此刻的实时数据还在receiver端不断的store。由于数据的处理不及时，即Processing Time < blockInterval也就造成了数据的积压。此时就需要一种机制来解决receiver端store数据的“速率”。在spark streaming中就是被压（backpress...
2018-12-18 19:03:27
533
原创 解析一行gc日志
线上某个项目 ，启动参数-verbose:gc -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -Xloggc:/opt/logs/spring-boot/gc.log在gc.log里面发现了这些gc信息315201.296: [GC (Allocation Failure) 315201.296: [ParNew: 1751390K->807...
2018-12-18 11:12:28
237
dubbo-admin-2.5.4
2017-12-18
Socket实例之客户端向服务端数据库上传文件UI版
2016-12-12
算法导论中文第二版
2015-07-18
一个算法问题 最长子串
2016-04-23
喜欢算法的来帮帮忙 这道题实在是不会了
2016-04-22
layoutparams设置宽度和高度填充父容器无效啊
2016-02-23
关于返回值的问题（图的遍历），求解答啊
2015-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝