修复like prefix 修复tso

Notice:

滚动升级顺序：BaikalMeta=>BaikalStore=>BaikalDB(本次升级需要严格按照这个顺序，否则会出现兼容性问题) 回滚步骤反过来：BaikalDB=>BaikalStore=>BaikalMeta 如没特殊说明，后续升级步骤都应该按上述顺序进行

New Features：

• 内部现在适配的是gcc12，rocksdb 7.10.2(c++17)，protobuf_3-18-0-1，本次开源版本依赖未变，有能力同学可以适配下bazel依赖
• feat: update braft from v1.1.1 to v1.1.2
• 增加store单sign读请求的并发控制，去除new sign识别；两级并发参数，服务器配置高可以调大：sign_concurrency=8，global_select_concurrency=24，开关：open_sign_concurrency=true
• 支持单表多集群（resource_tag）概念，多副本可以在不同集群，例如："dists": [ { "resource_tag":"a1","logical_room":"x", "count":2}, { "resource_tag":"a1","logical_room":"y", "count":1}, { "resource_tag":"a2","logical_room":"x", "count":1}, { "resource_tag":"a3","logical_room":"y", "count":1}]
• baikaldb支持访问指定的resource_tag，-fetcher_resource_tag=a1
• baikaldb支持follower read读取最新数据，配置-use_read_index=true
• rocksdb支持参数：rocks_use_sst_partitioner_fixed_prefix，rocks_use_ribbon_filter，rocks_use_hyper_clock_cache（rocksdb 7.10.2才能开）
• like表达式支持gbk和utf8（参考了tikv），解决gbk部分中文匹配错误问题，但是新实现性能比re2差
• 完善sql签名降级功能
• 快速导入功能优化
• full_export支持inner join limit下推多轮交互
• 支持copy_db复制整个db表结构，用于测试场景
• 索引选择预处理流程中如果遇到pk或uniquekey，并且条件为eq或in时直接选择
• column ddl复制列，走ddl流程：alter table t1 modify column set column2=column1 where column1!=column2;
• 优化分裂过程稳定性
• fulltext/hll多处优化
• 支持注释调整执行并发，防止脚本类大sql打挂集群，/*{"single_store_concurrency":1}*/
• mysql协议增加keepalive，降低客户端挂掉后事务残留时间
• 支持mysql建表语句，改成同步建表，建表后即可查询
• fulltext支持utf8编码
• 支持修改表的charset，ALTER TABLE tb DEFAULT CHARSET= gbk;
• 支持hash partition自定义表达式，partition功能达到可用状态，举例：PARTITION BY HASH (key & 0xABB % 16) PARTITIONS 16
• 分裂优化，分裂耗时更短
• ddl流程优化
• 支持\0转义
• 支持按user设置不同的锁超时时间
• store和db均支持sign黑名单拒绝：handle schema_conf {table_name} add_blacklist {sign}
• 迁移限速判断l0 sst数量，降低stall概率
• not null无default值时，插入null兼容mysql非严格模式，例如int类型会写入0，string类型写入空串
• binlog表增加字段binlog_row_cnt bigint(20) NOT NULL DEFAULT '1'
• binlog增加sql等信息，用来支持sql闪回
• 通过表名鉴权，防止新表rename后无权限问题
• table可以分发给多个binlog表（可以不同partition）
• 增加abs函数对bigint的支持
• 支持modify columns修改默认值时， 原类型等于目的类型
• Update brpc url from incubator-brpc to brpc.
• 新增CAST '(' Expr AS VARCHAR ')' 与CAST '(' Expr AS DECIMAL ')'函数
• prepare模式计算sign
• print_query_time增加ip端口
• sign_forceindex
• add function json_extract
• suport '' as ' and "" as "
• add function json_extract
• support start transaction ISOLATION LEVEL
• support CREATE UNIQUE INDEX
• 兼容性提升
• feat: limit pushdown when multi-ranges in scan_node
• feat: group_concat support distinct, orderby, separator

Bug Fixes：

• binlog修复ts编码问题，对外订阅逻辑兼容，1h后会删除旧的cf，因此确保在老的binlog数据不再使用的时候上线binlog
• ttl decode bugfix
• 修复fetcher store出现old version可能丢数据问题
• 修复延时删除误删region
• 局部索引fix txn write skew
• agg空数据修复
• 修复多项事务bug，完善幂等处理，事务更稳定
• 修复a join b using(id)语法
• 内存限制bugfix
• 时间类型，时间函数等修复和兼容mysql
• insert ignore LOCK bugfix
• subquery txn_id bugfix
• substring_index空串死循环修复
• 修复update set a=a+1并发问题
• double to string增加精度
• insert select 修复时间类型
• fix binlog ttl功能
• merge region是否有数据double check
• 修复重启后产生大量bthread
• 修复数字like prefix不用索引
• join适配null相关函数
• 修复倒排删特殊列core
• 修复sort_limit_by_range问题
• read index广播采用log index
• update set null时binlog发送默认值
• 修复full export+partition表问题
• 修复ddl+分裂时可能丢index数据问题
• 修复update别名问题
• fix: update table alias logical error
• fix: read and write skew for global index
• COLUMNS表字段默认值区分空字符串和NULL
• 解决date,datetime,time,timestamp类型字段in子查询时,表达式为空问题
• filter_node debug log
• check for TIMESTAMP and DATETIME columns, you can specify CURRENT_TIMESTAMP as the default
• add column comptatible with collate
• db_version
• std::vector push_back coredump when double capacity
• SAFE_DELETE for expr_node& exec_node
• fix: subquery txn_id

Performance Improvements:

• binlog回退进度点性能优化
• 局部索引+binlog优化交互，降低延迟
• 支持multiget，默认打开：-scan_use_multi_get=true
• baikaldb索引计算优化
• baikalstore减少数据复制
• binlog支持multiget
• join性能优化，降低planrouter的开销
• ttl cache优化
• or，and支持多叉树
• a = 1or a= 2改写成a in (1,2)；(a=1 and b=1) or (a=2 and b=2)改成成(a,b) in ((1,1),(2,2))，满足后续索引选择需求
• 优化mem check性能
• 优化baikaldb内部索引选择性能
• 倒排index里不使用pb
• partition路由优化
• 倒排or堆排序
• partition多项性能优化
• 全局索引先limit后回表优化
• 索引选择和索引range生成拆分，减少生成range开销

修复老版本编译器编译问题，功能与v2.1.0一致

Notice:

滚动升级顺序：BaikalMeta=>BaikalStore=>BaikalDB(本次升级需要严格按照这个顺序，否则会出现兼容性问题) 回滚步骤反过来：BaikalDB=>BaikalStore=>BaikalMeta 如没特殊说明，后续升级步骤都应该按上述顺序进行

New Features：

• rocksdb升级到6.26.0(protobuf内部是V3.11.2比较稳定，欢迎有能力同学升级下，可以获得更好的性能)
• comb multi in predicate by @wy1433 #160
• local index ddl 与 gobal index ddl流程统一
• 新增handle/show sql代替脚本
• 优化旁路探测问题
• where条件中datetime类似与数字20201212比较兼容mysql
• 支持主机房概念，可以设置主机房，让leader在主机房选出
• 虚拟索引过meta收集任意sql的影响面
• 支持substring_index
• 支持按照网段进行负载均衡
• region split主动add peer，防止单副本运行
• partition表兼容mysql语法
• 支持online TTL
• delete、update支持子查询
• 支持regexp
• drop index force可以直接走删除流程
• 新增函数： timestamp, lpad, rpad, time_format, convert_tz, isnull, database, cast, convert, default @wy1433
• 新增系统表：ROUTINES，KEY_COLUMN_USAGE ， REFERENTIAL_CONSTRAINTS @wy1433
• 兼容jdbc8.0驱动 @wy1433
• 支持表注释，并支持alter table修改表注释，及comment里面内容 @wy1433
• drop index忽略索引名称大小写 @wy1433
• 支持sql单行注释写法 @wy1433
• 增加manual_split_region可以手工分裂
• 增加内存限制功能
• 建表使用unique index默认改成global的，可以通过unique index local来指定成local的，可以通过-unique_index_default_global=false改成默认是local的
• 建表使用普通索引index默认还是local的，可以通过index global指定成global的，可以通过-normal_index_default_global=true改成默认是global的
• 通过-open_nonboolean_sql_forbid=true可以禁止非bool表达式参与and/or计算，默认false
• 通过-open_non_where_sql_forbid=true可以禁止没有where条件的update/delete，默认false
• 通过-limit_unappropriate_sql=true可以限制手工sql（每个db执行次数少于3次）每个store并发到1，防止store被打挂，默认false
• 支持ingest sst方式的快速导入功能（暂未适配开源编译，将在后续开放）

Bug Fixes：

• 修复子查询中常量不能替换’?‘的bug
• 修复insert select未更新自增主键
• 修复tdigest agg问题
• 修复各种事务问题
• 修复1pc和2pc混用卡住问题
• 修复update set now()时3副本不一致问题，rand()函数不是const
• 修复全局索引并发写primary和secodary的问题
• 修复baikaldb死循环，出core问题
• 修复子查询join全局索引表出core
• 修复fake binlog 不反查primary region
• add peer过程中正好触发延时删除ingest失败
• 修复包含slot的like predict bug
• 修复current_timestamp问题
• 修复标量子查询core和多列问题
• 修复全局索引+row_ttl
• 修复order by超过1个表达式计算问题
• write binlog错误码修复
• 子查询kill问题修复
• datediff 问题修复
• 修复match against类型推导
• 修复全局索引+insert duplicate中values函数不生效问题

Performance Improvements:

• region、qos采用双buf降低锁冲突
• join on驱动表扫描出的等值value进行去重作为被驱动表的条件，降低数据量
• userinfo使用双buf提升性能
• qos优化
• meta cf不使用ingest
• 优化tdigest存储
• CompactionFilter只做后2层
• region split优化降低禁写时间
• meta性能优化和锁优化
• limit下推 @wy1433 #174
• 注释解析性能优化
• MemRowDescriptor缓存降低多列情况下开销
• 局部索引内存优化
• 索引key解析优化
• db到store改用异步请求，降低高并发下bthread数量

Bug Fixes：

修复snapshot发送时遇到重试可能丢数据的问题 install snapshot时做校验

New Features：

binlog元数据表支持ttl 兼容.netcore对string与binary的处理差异，支持_binary EXPR用法及blob类型返回，返回编码field_charsetnr_set_by_client=true可以设置为client编码，否则是0 增加函数last_insert_id(expr)，可以在session级别保存表达式执行结果 支持库名，表名，别名，大小写不敏感用法，schema_ignore_case=true开启 支持多表查询时，不同表字段相同，查询时没有指定表名的歧义消除功能，disambiguate_select_name=true开启 peer_load_balance增加balance_add_peer_num参数，默认每张表迁移10个，可不重启meta动态修改以调整迁移速度 leader_load_balance放宽transfer leader的候选peer的选择限制

Notice:

滚动升级顺序：BaikalMeta=>BaikalStore=>BaikalDB 如没特殊说明，后续升级步骤都应该按上述顺序进行

New Features：

• 支持cmake编译
• 增加bvar监控
• 修复部分统计信息问题
• 支持b'11'、 0b11、 x'AA'、 0xAA 字面
• 支持子查询
• 支持selfjoin:table t1 join table t2
• 支持binlog
• 增加全局索引的online ddl操作，alter table xxx add index global idx(filed);
• 代价相关会结合一些规则判断，增加索引选择正确率
• 暂时使用直方图+内部的distinct count做等值判断，cmskectch在大表情况下准确性较低
• 支持information_schema流程 ，需要添加新的information_schema的表可以参考src/common/information_schema.cpp
• 统计信息和规则选择索引部分做了修改，选择更准确些
• 增加虚拟索引:alter table id_name_c add VIRTUAL index idx_name (name); 查看受影响的sql：show virtual index;用来新建索引前评估影响
• using docker-compose to build a minimal three node cluster
• 增加roaringbitmap，可以用于精确统计一些uv，用法与hll类似
• 增加TDIGEST用来做分位值的估算
• 增加db探测store的功能，在单个store假死的情况下可以快速恢复系统，集群更稳定
• addpeer前会检查rocksdb是否stalling，提前拒绝addpeer，减少禁写风险
• 增加dataindex，在install snapshot时会判断follower的数据是否已经是新的
• 默认从snappy改成增加lz4压缩
• 最底层增加zstd压缩，通过-enable_bottommost_compression开启
• add funcs: date_add, date_sub, utc_timestamp, last_insert_id
• store增加令牌桶流控(qos)，对每类sql做并发限制，降低突发流量对正常sql的影响，默认不开启
• 对每个请求做内存限制，通过db_sql_memory_bytes_limit(8G)和store_sql_memory_bytes_limit(16G)控制
• 定期调用tcmalloc接口回收内存src/common/memory_profile.cpp
• 支持loaddata语句，load的文件目前只能放在server端（相对于baikaldb的路径）
• 一个表多机房时可以设置一个主机房(main_logical_room)，leader总是在主机房内
• 增加索引屏蔽概念，已屏蔽的索引不会被选择，在线索引操作调整：
  • drop index设置屏蔽状态，2天（table_tombstone_gc_time_s）后自动发起删除流程；目的是删错索引可以快速restore恢复，快速止损
  • add index流程走完后，索引为屏蔽状态，需要二次确认restore；防止流程走完后，索引影响老业务，并且无人关注到
  • 屏蔽状态的索引转为正常索引：alter table xxx restore index idx

Bug Fixes：

• 修复meta双buf问题
• 修复多次删除创建同名后restore恢复表不一致问题
• 单语句事务可能会导致raft卡住的bug修复
• 修复之前GetApproximateSizes不准的bug
• 修复一些可能的内存泄露问题
• 修复只读事务bug，优化部分流程
• prepare insert current time default value
• fix count(*) return NULL expected 0 when filter expr is always false
• ignore non-json format comment for sql string
• update last_insert_id when client set the value

Performance Improvements:

• 主表、索引覆盖、全局索引seek优化，去除table_record到mem_row的转化
• 通过plan复用优化select prepare stmt性能
• rocksdb事务锁改成bthread锁；不阻塞pthread
• 提升cstore扫描性能
• 降低qos，memlimit的开销
• 增加了推荐的conf配置

New Features

• 增加rocks_use_partitioned_index_filters配置决定是否使用Partitioned Index Filters，默认为false；开启后需要通过rocks_block_cache_size_mb配置内存占用，同时rocks_max_open_files失效，永远打开全部sst
• 索引范围可以结合IN和between
• 采用re2代替boost.regex
• DeleteRange前先条用DeleteFilesInRange，可以先删除完全覆盖的文件，降低compaction压力

Bug Fixes

• 修复扫描cstore解析问题
• 修复部分场景primary解析问题

Notice:

从v1.0.x升级到v1.1.x版本，必须先更新兼容版本v1.1.0，否则可能出现数据丢失情况 v1.1.1 is abandoned

更新步骤：

1. 滚动更新store到v1.1.0
2. 滚动更新db到v1.1.0
3. 滚动更新store到v1.1.2
4. 滚动更新db到v1.1.2 回滚步骤相反，只能回滚到v1.0.2

v1.1.2版本开始，事务参考Percolator，继续依赖rocksdb的悲观事务，dml通过raft发送给follower的方式从之前的prepare打包发送改为单dml发送

Feature：

• 增加了统计信息功能
• 增加利用统计信息计算代价选择索引功能
• sst备份增加stream接口，减少内存占用，解决大region备份失败问题
• 支持部分时间函数，支持常用字符串函数
• print_time_us适用于baikaldb的notice日志打印，需要全部打印请配置为0
• alias别名兼容mysql，where条件不再支持alias
• brpc更新到0.9.7
• braft跟新到v1.1.1
• rocksdb更新到6.8.1
• rocksdb使用format_version=4，因此升级后只能回滚到v1.0.2（rocksdb 5.12.4不支持）
• 使用Partitioned Index Filters，rocksdb主要内存占用可以通过rocks_block_cache_size_mb配置，默认8G；线上使用建议调大这个参数
• 倒排拉链支持使用arrow存储

Bug Fix：

• 修复sst备份接口不释放snapshot导致内存无法释放问题
• 修复多次删除创建同名后restore恢复表不一致问题

Performance:

• 主表、索引覆盖、全局索引seek优化，去除table_record到mem_row的转化
• 通过plan复用优化select prepare stmt性能

rocksdb升级到6.8.1；用于v1.1.x的回滚

Notice:

本次版本是事务版本兼容优化 v1.1.0以后的版本滚动更新，必须先滚动更新v1.1.0版本，否则可能出现数据丢失情况