Bifrost Versions Save

Bifrost ---- 面向生产环境的 MySQL,MariaDB,kafka 同步到Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka等服务的异构中间件

v2.3.6-beta

1 week ago
  1. input varchar(255) to output starrocks varchar(765)

v2.3.5-beta

3 weeks ago
  1. fixed output starrocks varchar(255) tansfer error bug https://github.com/brokercap/Bifrost/issues/266
  2. 修复mongo数据源全量功能无效的bug https://github.com/brokercap/Bifrost/issues/272

v2.3.4-beta

4 months ago
  1. 修复MySQL源,指定同步表配置后,但可能没生效的BUG BUG复现过程: a. 配置了一个T1表同步 b. 重启进程,并且T1表数据不再做任何更新 c. 配置T2表同步 d. 更新T1表的数据
  2. 修复mysql 带有触发器的时候binlog解析失败的bug https://github.com/brokercap/Bifrost/issues/263
  3. 修复plugin clickhouse decimal 精度丢失的bug https://github.com/brokercap/Bifrost/issues/204

v2.2.3-beta

4 months ago
  1. 修复MySQL源,指定同步表配置后,但可能没生效的BUG BUG复现过程: a. 配置了一个T1表同步 b. 重启进程,并且T1表数据不再做任何更新 c. 配置T2表同步 d. 更新T1表的数据
  2. 修复mysql 带有触发器的时候binlog解析失败的bug https://github.com/brokercap/Bifrost/issues/263
  3. 修复plugin clickhouse decimal 精度丢失的bug https://github.com/brokercap/Bifrost/issues/204
  4. 修复2.2.2 mysql,clickhouse之外的其他插件input没有配置tag标签导致数据转换失败的bug

v2.3.3-beta

5 months ago
  1. 修复2.2.2 ,2.3.2 mysql,clickhouse之外的其他插件input没有配置tag标签导致数据转换失败的bug

v2.3.2-beta

6 months ago
  1. 包含2.2.2版本内容
  2. 优化 output mysql starrocks/doris 自动建表字段类型映射关系,根据实际情况选择最接近源端类型的数据类型
  3. output mysql 对starrocks/doris的支持 自动建表时 类型转换的优化 非追加模式下,无主键的表,目标库中表不存在的情况下,会自动弃丢,不会自动建表及同步
  4. 修复其他部分已知bug以及doc更新

v2.2.2-beta

6 months ago
  1. 在数据转换的过程中,比如字段在源端的字段列表中不存在 ,则直接返回nil 案例: data 中有字段及值 x1:"v1",x2:"v2",x3:"v3" 情况1: val = "x4" , 返回 nil 情况2: val = "x4{BifrostNull}" ,返回 x4 情况3: val = "x1" , 返回 x1对应的的值v1 情况4: val = {BifrostNull} , 返回 nil 如果在此版本之前在字段绑定中使用了 源端不存在的字段名,需要进行修改为 情况2 那种情况 ,才会返回 x4那样的值,否则为 nil,请视使用情况是否需要修改
  2. 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG https://github.com/brokercap/Bifrost/issues/257
  3. 修复input kafka 在同步过程中去获取最新位点,导致死锁的bug https://github.com/brokercap/Bifrost/issues/256
  4. 修复数据源指定带点数据源名称 搜索失败的bug
  5. 当添加AllTabls 的时候 ,支持只指定同步某些表 https://github.com/brokercap/Bifrost/issues/253
  6. 修复input mock 在随机生成no_pks无主键表,生成的数据,还存在主键的bug
  7. mock input更新,支持设置开启长字符串生成, 支持设置是否生成的数据,均为同一个事件内容,用于提升生成数据性能
  8. web体验优化 全量任务,表同步列表可支持跳转到表同步配置详情页,并自动选中库表

v2.3.1-beta

6 months ago
  1. Linux 作为服务器的情况下，通过读取 /proc/[pid]/status 内核文件下的 VmRSS 作为内存使用量 其他系统 ，将继续使用Go提供的runtime.MemStats里的统计数据
  2. 修复input mock 全量完后，内存并没释放的BUG
  3. 修复 input mock 在batch模式下，提前退出batch的逻辑bug
  4. 修复input mock batch 结束后只是显示stopped,但没closed的bug
  5. 界面操作优化更新 数据源界面新增简易搜索功能 数据源及目标库ConnUri输入框入框改为texterea,范围更大
  6. 修复input mongo 在值为nil的情况下,ColumnMapping的时候panic的bug
  7. 修复 output starrocks 在普通模式,指定了库名的情况下,提示未找到原库表名的错误

v2.2.1-beta

6 months ago
  1. Linux 作为服务器的情况下，通过读取 /proc/[pid]/status 内核文件下的 VmRSS 作为内存使用量 其他系统 ，将继续使用Go提供的runtime.MemStats里的统计数据
  2. 修复input mock 全量完后，内存并没释放的BUG
  3. 修复 input mock 在batch模式下，提前退出batch的逻辑bug
  4. 修复input mock batch 结束后只是显示stopped,但没closed的bug
  5. 界面操作优化更新 数据源界面新增简易搜索功能 数据源及目标库ConnUri输入框入框改为texterea,范围更大
  6. 修复input mongo 在值为nil的情况下,ColumnMapping的时候panic的bug

v2.3.0-beta

6 months ago
  1. 支持MySQL连接协议连接Starrocks,进行数据同步到,支持自动建表,日志追加模式,按月自动建分区 https://github.com/brokercap/Bifrost/issues/254
  2. 当添加AllTabls 的时候 ,支持只指定同步某些表 https://github.com/brokercap/Bifrost/issues/253