Datax Web Versions Save

DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

v-2.1.2

3 years ago

v-2.1.2 新增 添加项目管理模块,可对任务分类管理; 对RDBMS数据源增加批量任务创建功能,选择数据源,表即可根据模板批量生成DataX同步任务; JSON构建增加ClickHouse数据源支持; 执行器CPU.内存.负载的监控页面图形化; RDBMS数据源增量抽取增加主键自增方式并优化页面参数配置; 更换MongoDB数据源连接方式,重构HBase数据源JSON构建模块; 脚本类型任务增加停止功能; rdbms json构建增加postSql,并支持构建多个preSql,postSql; 合并datax-registry模块到datax-rpc中; 10.数据源信息加密算法修改及代码优化; 11.时间增量同步支持更多时间格式; 12.日志页面增加DataX执行结果统计数据; 升级: PostgreSql,SQLServer,Oracle 数据源JSON构建增加schema name选择; DataX JSON中的字段名称与数据源关键词一致问题优化; 任务管理页面按钮展示优化; 日志管理页面增加任务描述信息; JSON构建前端form表单不能缓存数据问题修复; HIVE JSON构建增加头尾选项参数; 备注: 2.1.1版本不建议升级,数据源信息加密方式变更会导致之前已加密的数据源解密失败,任务运行失败。 如果需要升级请重建数据源,任务。

v-2.1.1

4 years ago

新增

  1. 添加HBase数据源支持,JSON构建可通过HBase数据源获取hbaseConfig,column;
  2. 添加MongoDB数据源支持,用户仅需要选择collectionName即可完成json构建;
  3. 添加执行器CPU.内存.负载的监控页面;
  4. 添加24类插件DataX JSON配置样例
  5. 公共字段(创建时间,创建人,修改时间,修改者)插入或更新时自动填充
  6. 对swagger接口进行token验证
  7. 任务增加超时时间,对超时任务kill datax进程,可配合重试策略避免网络问题导致的datax卡死。

升级:

  1. 数据源管理对用户名和密码进行加密,提高安全性;
  2. 对JSON文件中的用户名密码进行加密,执行DataX任务时解密
  3. 对页面菜单整理,图标升级,提示信息等交互优化;
  4. 日志输出取消项目类名等无关信息,减小文件大小,优化大文件输出,优化页面展示;
  5. logback为从yml中获取日志路径配置

修复:

  1. 任务日志过大时,查看日志报错,请求超时;

v2.1.0

4 years ago

修复前端页面自适应问题 修复添加任务时json转换失败的问题 修复构建json时数据库连接增加问题 修复增量更新失败重试成功后增量更新时间跳跃的问题 修复失败重试时序列化失败问题 1、指定增量字段,自动获取每次的数据区间 2、页面配置datax启动参数 3、数据源连接错误提醒功能 4、任务模板创建 5、构建JSON之后选择任务模板创建任务 6、jdbc添加hive数据源支持 7、json构建模块代码重构 8、json构建支持hive 9、添加数据源测试功能 10、优先通过环境变量获取DataX文件目录 11、字段映射优化 12、支持shell、python、powershell任务 13、支持分区动态传参,可配合增量同时使用

v2.0.0

4 years ago

1、通过Web构建DataX Json; 2、DataX Json保存在数据库中,方便任务的迁移,管理; 3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能; 4、DataX运行记录展示,可页面操作停止DataX作业; 5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效; 6、调度采用中心式设计,支持集群部署; 7、任务分布式执行,任务"执行器"支持集群部署; 8、执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行; 9、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等; 10、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度; 11、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务; 12、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试; 13、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式; 14、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色; 15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔; 16、运行报表:支持实时查看运行数据,以及调度报表,如调度日期分布图,调度成功分布图等;

1.0.0

4 years ago