1.1.5 alpha 1

功能新增

1. 引入canal-admin工程，支持面向WebUI的canal管理能力
   • Canal-Admin-Guide
   • Canal-Admin-Docker
2. canal-server新增基于账号密码的ACL支持能力
3. canal-server新增admin动态运维指令，配合canal-admin工程动态管理订阅关系
4. 多语言新增【Python客户端】
5. instance订阅表过滤，增加表字段订阅的过滤功能，比如针对大字段忽略 #1914
6. kafka支持配置Kerberos认证 #1895

重要优化

1. 升级fastsql 973版本，全面兼容MySQL DDL的解析能力。已通过DDL随机测试、表结构变更的TableMeta tsdb验证

小需求&bugfix

1. 升级fastjson 1.2.58
2. JSON类型null值修复 #1762
3. 新增protobuf模式的MQ消费例子 #2067
4. 新增es adapter rest client和认证机制 #2046
5. 修复adaphter-hbase在RDS批量删除数据时只删掉了第一条，后面的未删除 #1907
6. 修复集成kafka在多个destinations模式kafka事务异常 #1826
7. 修复kafka消息发送时丢失pk信息 #1352
8. 优化并行解析时的异常处理和线程安全 #1857 #1866
9. 修复MQ模式下的delete事件乱序发送问题 #1848
10. 修复server HA切换后MQ消息未发送 #1810
11. 忽略低版本MySQL的checksum不支持问题 #1788

1. upgrade fastsql 973, fixed ddl parser failed
2. upgrade fastjson 1.2.58

功能新增

1. 支持mysql8.0新的caching_sha2_password认证协议
2. 支持Azure MySQL的认证协议
3. canal投递MQ消息 【MQ投递】
   • 支持按表规则定义dynamic topic、partition路由的能力
   • 新增kafka消息投递事务
4. canal内置的客户端【ClientAdapter】
   • rds-adapter 增加mysql整个DB层面的同步配置
   • es-adapter 新增父子文档索引适配

小需求&bugfix

1. 解决server单核服务器无法接收数据的问题 #1605
2. 修复TableMeta TSDB支持utf8mb4 #1550
3. 修复MQ消息发送时非flatMessage模式出现数据重复 #1551
4. 修复Kafka配置为分区模式时出现数据 #1636
5. 修复fastsql的几个DDL解析问题 #1306 #1546 #1626
6. 修复rdb-adapter同步的类型转化、空指针、大小写、DDL同步等问题 #1313 #1338 #1341 #1408 #1433
7. 修复投递MQ模式，canal server HA在切换后不生效 #1229
8. 修复es-adapter数据库主键类型错误 #1559
9. 修复charset编码不存在 #1662

功能新增

1. 支持mysql8.0的binlog解析 【BinlogChange(MySQL8)】
2. canal提供内置的客户端能力【ClientAdapter】
   • 同步到HBase wiki
   • 同步到Rdb(支持mysql/pg/oracle/sqlserver) wiki
   • 同步到ES wiki
   • 目前adapter为支持更多常见的目标存储，会处于快速迭代中，不同版本之间会有接口调整，请及时关注文档
3. RocketMQ消息支持直接投递至aliyun ons(RocketMQ云服务) #1169

功能重构

1. MQ消息发送的配置相关从mq.yml调整至canal.properties，支持了auto scan的能力，请关注最新的配置文档 wiki

小需求&bugfix

1. 修复mysql binlog文件名解析乱码问题 #1189
2. 修复修复TableMeta TSDB在每天定时snapshot因filter变化导致失败 #1168
3. 修复canal docker支持MQ模式启动失败问题 #1087
4. 修复TableMeta TSDB支持int display width不一致问题 #1100
5. 修复rocketmq&kafka 发送消息失败时回滚后继续提交的问题 #1104
6. 修复alter rename 的ddl 类型解析错误的问题 #1103
7. 修复FlatMessage 中data过滤掉了 value null的column #1120
8. 优化aliyun rds oss binlog下载的能力，支持基于位点自动回溯 #1076

功能新增

1. 原生支持RocketMQ消息投递 #695 【Canal Kafka QuickStart】
2. 原生支持hbase的数据同步 #849 ClientAdapter
3. 新增c#/go多语言客户端的支持
   • canal java客户端: https://github.com/alibaba/canal/wiki/ClientExample
   • canal c#客户端开源项目地址： https://github.com/CanalSharp/CanalSharp
   • canal go客户端开源项目地址： https://github.com/CanalClient/canal-go
4. MQ消息投递支持按pk hash到多个分区partition(Kafka/RocketMQ均支持) #958

小需求&bugfix

1. 修复单核环境下的canal启动异常问题 #873
2. 修复parse并行解析模式gtid的并发问题 #881
3. java client内聚guava打包,解决和外部系统的版本冲突问题 #912
4. 升级proto2为proto3(3.6.1),支持更多的跨语言能力
5. 支持配置中数据库密码加密处理 #990
6. 并行解析下，数据库一直连不上导致OOM异常(线程数泄漏,出现暴涨) #968
7. mysql set类型8值情况解析越界bugfix otter#617
8. 支持otter使用canal的新特性，比如rds ak/sk配置、tsdb配置
9. 修复docker部署canal-server无法使用 docker-restart命令 #1001
10. 修复mysql bit(8)类型8值情况解析越界bugfix
11. tablemeta tsdb数据增加过期清理能力 #1047

1. 合并了kafka和canal server的工程，可以修改canal.serverMode=kafka切换为写入kafka模式
2. 新增了client-launcher，支持了写出到hbase的能力

重要说明

canal历经了近8个月的沉寂, 有了一个里程碑式的重大版本发布, 对应版本为1.1.0.

1. 考虑该版本性能/功能/架构上多方面的重要改造, 对于未来canal发展有着重要的意义, 因此决定直接将1.0.26 alpha5直接release转为1.1.0
2. 后续会停止1.0.x版本发布, 会专注在1.1.x版本上的开发和维护, ps. 目前1.1.0是完全向前兼容, 可建议直接升级

重要功能优化

1. 整体性能测试&优化,提升了150%. #726 参考: 【Performance】
2. 表结构TSDB相关问题全部修复(比较多的是DDL语法解析兼容性) #439 #440 #442 #507 #570 #639 #641 #736 #781 #818
3. 基于bio修复binlog长时间无数据导致的半开链接无法恢复 #548 #188

功能新增

1. 原生支持prometheus监控 #765 【Prometheus QuickStart】
2. 原生支持kafka消息投递 #695 【Canal Kafka QuickStart】
3. 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: 【Aliyun RDS QuickStart】
4. 原生支持docker镜像 #801 参考: 【Docker QuickStart】
5. MySQL gtid模式订阅支持 #126
6. MySQL XA binlog事件 #626
7. Mysql Show Slave Hosts状态支持 #483

小需求&bugfix

1. ddl语句utf8mb4解析乱码问题 #610
2. bit(1)类型转化为boolean支持 #631
3. server链接意外断开优化(空闲链接管理) #640
4. ddl支持create database解析 #730
5. 多个client并发订阅出现的ConcurrentModificationException #657

v1.0.26版本的alpha 5版本