Flinkx Versions Save

1.8.4

4 years ago

新增内容 1.编译时自动安装缺失的驱动包到本地 2.reader和writer支持分别指定并发度 3.新增插件 Cassandra 4.新增插件 Phoenix 5.新增插件 Teradata 6.新增插件 SAP Hana

修复内容: 1.直接下载源码编译报错问题

1.8.3

4 years ago

新功能: 1.添加clickhouse插件 2.添加PolarDB插件 3.sftp支持ssh key认证方式 4.HDFS读取插件支持文件过滤 5.插件加载方式支持shipfile模式 6.kafka插件支持除了binlog之外的其它数据源的数据 7.hdfs插件支持配置hadoop_user_name 8.hdfs插件兼容hive 1.x写入的数据文件 9.支持kafka 1.0版本 10.任务提交模式支持standalone模式 11.支持hadoop3

bugfix: 1.修复写入ftp时因flush导致的问题 2.修复hdfs插件写入parquet表时字段名称大小写问题 3.修复Sql Server自增主键写入bug 4.修复hdfs读取插件因常量字段导致数据错位的问题 5.修复写入PostgreSQL因脏数据导致数据重复的问题 6.修复分库分表插件读取bug

优化: 1.优化任务结束时指标汇总逻辑 2.hdfs读取插件优化分片创建逻辑

r1.5.5

4 years ago

新功能: 1、添加kudu插件 2、mongoDB插件支持URL连接

bugfix: 1、修复实时采集脏数据统计及写入bug 2、修复增量任务开启断点续传时无法获取正确startLocation bug 3、fix issue#98

r1.8.2

4 years ago

新功能: 1、添加kudu插件 2、mongoDB插件支持URL连接

bugfix: 1、修复实时采集脏数据统计及写入bug 2、修复增量任务开启断点续传时无法获取正确startLocation bug 3、fix issue#98

r1.8.1

4 years ago

bugfix: 1.修复写入hdfs时文件覆盖的bug;

添加新功能文档说明

r1.5.4

4 years ago

bugfix: 1.修复写入hdfs时文件覆盖的bug;

添加新功能文档说明

r1.8.0

4 years ago

1.v1.8.0基于flink1.8.1版本; 2.v1.8.0功能基于v1.5.3分支,包含v1.5.3的全部功能,并且hdfs插件,hive插件,hbase插件支持开启kerberos认证;

r1.5.3

4 years ago

新功能: 1.添加gbase插件; 2.添加kafka插件; 3.添加hivewrite插件; 4.添加mysql binlog插件,支持实时采集mysql数据; 5.支持断点续传功能; 6.写入hdfs和ftp增加根据文件大小进行切分文件; 7.读取关系数据库支持以row_number函数作为切分键; 8.写入postgresql支持 copy from 模式; 9.hbasewriter插件支持rowkey中使用md5函数; 10.支持yarn perjob模式提交任务; 11.统计数据支持写入普罗米修斯;

bugfix和优化: 1.fix多个数据分片读取慢的问题; 2.优化统计指标的计算和获取逻辑; 3.优化es读取数据方式为scroll; 4.以orc和parquet文件格式写入hdfs时,对decimal类型的数据做精度检测; 5.优化写入hdfs和ftp的代码结构; 6.local模式运行结束展示任务统计数据; 7.读写textfile格式的文件时,对null值"\N"做特殊处理; 6.其它的小bug修复和代码优化;

r1.5.2

4 years ago

这个版本主要是修复一些bug,bug修复列表: 1.修复db2插件获取表字段信息的bug; 2.修复ftp插件读取目录只能读取第一个文件的bug; 3.ftp插件里ftp连接的超时参数可配置化; 4.修复任务取消时统计指标不能输出到普罗米修斯的bug; 5.修复hdfs插件读取orc文件schema信息时的堆栈溢出bug; 6.修复hdfs插件读取parquet文件构造分片的bug; 7.修复hdfs插件读取parquet文件里decimal数据类型出错的bug;

r1.5.1

5 years ago

新增功能: 1.增量同步 2.关系数据库自定义sql同步 3.常量字段支持 4.增加stream插件,mock数据 5.增加carbondata插件 6.同步统计指标输出到prometheus

bug修复: 修复了使用过程中发现的bug以及部分插件的性能优化