Taier is a big data development platform for submission, scheduling, operation and maintenance, and indicator information display
Full Changelog: https://github.com/DTStack/Taier/commits/v1.4.0
Full Changelog: https://github.com/DTStack/Taier/commits/v1.3.0
Taier1.2版本做了以下更新:
通过可视化的拖动任务节点到画板中,手动连接上下游任务组成依赖关系,形成一个DAG的工作流。 支持任意类型的任务通过工作流拖拽的方式,直接实现配置化编排业务
新增OceanBaseSQL 任务,支持OceanBaseSQL的任务调度和运维展示
支持上传自定义开发的flink jar任务,通过taier提交运行和监控,
数据同步、实时采集支持脏数据管理,可以配置脏数据数量限制和保存方式,可保存至数据库实时查看
Hive SQL 支持udf函数开发配置
控制台交互和页面全新升级,通过树形结构展示组件配置信息。支持扩展自定义组件进行配置
集群和租户绑定简化,移除租户对接集群schema的强制绑定关系,不同类型计算组件无强制依赖, 优化任务开发流程逻辑,支持自定义扩展任务类型,新增了任务和schema绑定关系
感谢所有向 Taier 1.2贡献的朋友
参与者 |
---|
bnyte |
ghm02708 |
kongshan-zhuyu |
LousenJay |
mortalYoung |
QAQ-Jun |
Saltingfish |
vainhope |
本次上线的Taier1.1版本做了以下更新:
Taier作为一个分布式可视化的DAG任务调度系统,采用Chunjun作为分布式数据同步工具。 1.1版本将Flink版本升级到1.12 ,支持Chunjun 1.12版本中新增的transformer算子,用户在脚本中定义好数据类型以及SQL转换逻辑。 支持Flink 1.12的原生语法及Function
数据同步任务除向导模式外,1.1版本新增数据同步脚本模式。 脚本模式通过json的方式配置,无需依赖datasourcex的支持的数据源,直接通过json配置的方式提交任务, 脚本模式的json格式无缝兼容Chunjun的数据格式,用户可以通过脚本模式调试各类数据源的数据同步
新增Hive SQL类型任务,Apache Hive是一个构建于Hadoop顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。
Taier1.1版本新增Hive SQL ,支持对接Hive的不同版本
新增实时采集任务,支持将MySQL、Oracle的数据同步至Kafka
新增Flink SQL任务,通过标准SQL语义的开发帮助快速完成数据任务的配置工作
通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息
用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。
目前Taier1.1版本 Spark SQL 和 Flink SQL 任务均支持自定义函数
Taier开发界面暗黑主题上线,提供多种主题切换,用户可自行选择
感谢所有向 Taier 1.1贡献的朋友
参与者 |
---|
bnyte |
dtdazhi |
ghm02708 |
jiemotongxue |
kongshan-zhuyu |
LousenJay |
mortalYoung |
QAQ-Jun |
Saltingfish |
vainhope |
支持 chunjun1.10 支持 Spark SQL 2.1版本 支持 对接kerberos认证 支持 docker部署 支持 hadoop2、hadoop3版本