Archery Versions Save

SQL 审核查询平台

v1.7.4

4 years ago

Release date: 2019年12月21日

代码变更: https://github.com/hhyo/Archery/compare/v1.7.3...v1.7.4

本次更新主要是bug修复和易用性改进，无功能新增

修复说明

  • 解决 SQL 执行时长超过 DB wait_timeout 配置时，任务回调异常导致工单状态执行中的问题 #110
  • binlog2sql 异步超时时间设置，避免解析未结束就终止
  • goInception 连接字符处理，兼容特殊字符信息
  • mssql、oracle 的查询脱敏仅应用实例关联的脱敏规则 fix #525 fix #559
  • 解决表名是 mysql 关键字时查看表结构报错的问题 fix #578

易用性改进

  • 上线工单需求链接修改为可选项 fix #575
  • 修改企业微信推送通知为纯文本格式 #517 #565 #567
  • django-q task 增加自定义名称，方便问题排查
  • 增加自定义错误页面，无权限也可以展示基本菜单信息
  • 调整日志信息和等级，减少敏感信息输出
  • 管理员增加 admin 后台快捷入口

移除功能

  • 隐藏 SQL 上线的可选通知人选项

升级步骤

v1.7.3

4 years ago

Release date: 2019年12月08日

代码变更: https://github.com/hhyo/Archery/compare/v1.7.2...v1.7.3 贡献者: @xxlrr, @hhyo, @sunnywalden and @ericruan-cn

变更说明

  • 使用 goInception 作为 MySQL 查询表权限的解析工具，兼容更多查询场景 @xxlrr (#553)
  • SQL上线工单增加需求链接，方便追溯变更需求信息 @hhyo (#539)
  • 会话管理增加实例事务信息展示
  • 调整日志文件路径到项目根目录 @hhyo (#554)
  • 更新 django 版本到 2.2.8，同时升级其他依赖库

修复说明

  • fixed bug, when we change group_name select element, the optgroup of … @ericruan-cn (#532)
  • 解决 binlog2sql 模块 back-interval 传值问题 fix #536
  • 修复工具插件菜单不显示的问题fix #538
  • 解决 MySQL 查询 time 类型数据序列化为秒的问题 fix #547
  • Dashboard 使用模板片段缓存替换 view 缓存 fix #552
  • 资源组列表和用户实例列表增加伪删除过滤 #557

易用性改进

  • dockerfile优化 @sunnywalden (#528)
  • 容器化部署增加sql migrations数据持久化支持 @sunnywalden (#540)
  • DDL工单结束和创建数据库后主动清空实例资源缓存
  • 简化项目启动脚本，gunicorn使用gevent工作模式

安全性改进

  • 针对SQL工单详情和回滚信息做权限校验，和列表过滤逻辑保存一致

升级步骤

v1.7.2

4 years ago

Release date: 2019年11月17日

代码变更: https://github.com/hhyo/Archery/compare/v1.7.1...v1.7.2 贡献者: @afghanistanyn, @hhyo

变更说明

  • 增加数据字典导出功能 @hhyo (#511)
  • 优化回滚查询，支持下载回滚语句，方便回滚 @hhyo (#518)
  • 管理员新增查看系统信息入口，便于故障排除 @hhyo (#216)

修复说明

  • 解决 MySQL 在线查询 bit 类型字段查询展示异常的问题 @hhyo (#495)
  • 修复工单提醒页工单类型过滤无效的问题 @hujingguang (#504)
  • 解决资源组对象列表无法模糊搜索关联实例的问题 @hhyo(#512)
  • fix analysis_slow_query.sh, add lacked of ‘fi’ end of the file @afghanistanyn (#515)

其他说明

  • 工单详情基础信息表格样式修改，不换行展示
  • 移除moz_sql_parser相关解析代码https://github.com/hhyo/Archery/commit/ec7b17962fc21f0d1a3291e4bd733fa3191f9008

升级步骤

v1.7.1

4 years ago

Release date: 2019年11月02日

代码变更: https://github.com/hhyo/Archery/compare/v1.7.0...v1.7.1 贡献者: @Deng-TR,@jerryhu1234 and @hhyo

注意

  • 本次升级统一了敏感数据的加密方式，在升级完成后需要迁移旧的加密数据，否则实例连接会提示密码错误，迁移步骤为管理员登录后访问/api/do_once/mirage，如演示环境访问：http://139.199.0.191/api/do_once/mirage
  • 本次升级删除了阿里云AK配置表，转移到系统配置中，使用RDS管理的请到系统配置中重新配置相关信息

变更说明

  • 集成企业微信应用通知 @Deng-TR (#483)
  • SQL 上线自动审批支持按照实例标签过滤

易用性改进

  • 增加 archery charts @jerryhu1234 (#467)
  • 优化 redis 查询体验
  • 获取实例数据库、表、列信息的接口增加缓存，缓存时间为5分钟
  • SQL工单详情增加备份耗时展示
  • 会话管理新增完整INFO展示 (#479)
  • 慢日志列表增加完整语句项 (#485)

安全性调整

  • 统一数据加密方式
  • 服务端对用户操作的实例进行二次鉴权

升级步骤

v1.7.0

4 years ago

Release date: 2019年09月29日

代码变更: https://github.com/hhyo/Archery/compare/v1.6.7...v1.7.0 贡献者: @LeoQuote, @bekylin, @hhyo and @yyukai

注意

  • 本次升级涉及较多的数据和结构变更，升级前请注意备份数据，请使用master分支的变更脚本，release中脚本有部分语句遗漏，参考 #463
  • MySQL审核默认切换为goInception，升级后请注意在系统配置中重新修改保存配置
  • 配置文件和依赖均有调整，手工部署升级的请注意相关依赖变更，重新替换配置，升级依赖

变更说明

  • 增加 MySQL 实例数据库管理模块 @hhyo (#457)
  • 完善 MySQL 账号管理模块，支持账号新增、授权、改密和删除 @hhyo (#452)
  • 增加钉钉个人通知功能(需要创建微应用) @yyukai (#447)
  • Dashboard展现布局修改 @hhyo (#422)
  • 增加对Phoenix的查询支持 @bekylin (#408)
  • MySQL审核默认切换为goInception
  • 增加资源组粒度的查询权限 fix (#398)
  • 慢查询详情支持展示该SQL的历史执行趋势
  • RDS依赖更新以及utc时间转换方法调整 @hhyo (#430)

修复说明

  • 全局解决下拉筛选项被表格遮挡的问题 fix #413 @hhyo (#428)
  • 为 failed_login_count 增加范围限制, 强制限制在 0-127 @LeoQuote (#438)
  • 修复脱敏异常时将权限校验标记为跳过的问题 @hhyo (#420)
  • 调整JSON序列化的时间格式，在线查询时结果展示可达到微秒 fix #414 @hhyo (#418)
  • 在线查询结果为null时显示为 (null) 并且置灰显示 fix (#401)
  • 修复SQL查询达到超时时间没有主动终止的问题(#470)

易用性调整

  • 慢日志支持前端导出，最多展示1000条
  • 查询权限申请限制行数支持手动输入 fix (#404)
  • 执行工单时判断实例read_only状态，实例只读时禁止执行 fix (#409)
  • 部分二级菜单页面增加面包屑导航，方便跳转
  • 增加请求压缩，针对大结果集查询和SQL提交可提升效率 (#460)
  • 允许自行替换docs.md文件，展示相关文档信息 @hhyo (#429)

安全性调整

  • docker-compose默认将除了web端外的所有app从port改为expose,不再向外暴露对应端口, 降低安全风险，Redis连接增加密码 @LeoQuote (#425)
  • 会话终止功能忽略外部传入的SQL，后端自己构建执行语句
  • 系统配置信息使用django-mirage-field加密(其他旧字段在将下个版本调整)

移除说明

  • 整体移除Themis模块，binlog2sql和schemasync合并到工具插件菜单下 @hhyo (#419)

升级步骤

v1.6.7

4 years ago

Release date: 2019年8月25日

代码变更: https://github.com/hhyo/Archery/compare/v1.6.6...v1.6.7

变更说明：

  • 添加 pgsql 上线功能 @yzypals (#334)
  • 添加 info/debug api，方便查询系统运行信息 @LeoQuote (#385 #396)
  • 数据字典菜单移动到 SQL 查询菜单下 (8a6953d)
  • 剥离实例用户为单独的管理菜单，便于后续完善用户管理功能 (cd7f7e2d)
  • 增加全局 footer 显示 Archery 版本信息 (cd7f7e2d)

修复说明：

  • 一键快捷查询的 limit 值获取前端选择的值，(27cab96e)
  • 解决 MySQL查询 show create table 语句查询结果不显示的问题 (#355)
  • 解决 sqlparse 依赖冲突的问题 (#356)
  • 解决 SQL 工单搜索报错的问题 (#363)
  • 修复 oracle 行数限制功能 bug @yzypals (#384)
  • 增加单列函数的查询脱敏，类似from_unixtime等，同时脱敏校验开启时，禁用联合查询 (#395)

易用性改进：

  • 调整一键查询按钮禁用策略，仅一键查询使用同步模式，提升实例切换体验 (7929526)
  • redis 上线工单支持执行多个命令，使用换行符进行切分（可能存在风险）(74c3f22)
  • engine 增加是否支持备份属性，不支持备份的 engine 提交工单会强制关闭备份 (819c9f0)
  • 调整 MySQL 查看表结构的展示内容，变更为 show create table 的结果 (6b946b)
  • 调整 MySQL 查询时获取主从同步延迟的时间，在查询语句执行前获取延迟情况 (b4355bb)
  • 注册用户按钮按照配置控制是否显示，系统配置未开启注册时前端不再展示注册按钮 (465463)
  • 会话管理细节调整，最大单页展示 1000 个会话信息，列表数据加载错误时信息抛出到前台 (5344f70)

升级步骤：

v1.6.6

4 years ago

Release date: 2019年7月27日

代码变更: https://github.com/hhyo/Archery/compare/v1.6.5...v1.6.6

已知问题:

  • 一键快捷查询的 limit 值固定为 100，应该获取前端选择的值，修复方法见27cab96e

变更说明:

  • 新增 mongodb 的查询 #332 #282
  • 变更了 OracleEngine , 查询不再需要dba权限 #345
  • 在线查询新增查询语句收藏和快捷查询功能 #333

修复说明:

  • 解决 mysql 8.0 查看锁信息报错的问题 #314
  • 修复工单执行过程中Inception崩溃或者其他异常场景，工单状态仍显示正常结束的问题
  • 一些代码风格改进, 增加了代码风格检查, 详见 commit

易用性改进:

  • 完善 MySQL 查询的 limit 改写功能 fix #143
  • 慢日志展示增加平均执行时长信息，执行时间展示精度调整为毫秒
  • 优化不同类型实例的编辑器体验，可按照实例类型自动切换补全和提示信息
  • 优化会话管理模块的错误信息展示，接口抛错时直接抛出异常

升级步骤： https://github.com/hhyo/Archery/wiki/升级

v1.6.5

4 years ago

Release date: 2019年7月6日

代码变更：https://github.com/hhyo/Archery/compare/v1.6.4...v1.6.5

变更说明：

  • goInception 的 mysql 连接客户端调整为 mysqlclient ，需要升级至 v1.0-rc3 及以上版本

修复说明：

  • 修复数据库区分大小写时，top 表空间数据显示异常的问题 #307
  • 移除慢日志列表的导出功能 #312
  • 降低 mysqlclient 版本，解决Inception审核信息乱码的问题 08a285

升级步骤：

v1.6.4

4 years ago

Release date: 2019年6月30日

代码变更：https://github.com/hhyo/Archery/compare/v1.6.3...v1.6.4

本次迭代主要为 bug 修复和易用性改进

易用性改进：

  • MySQL 查询结果增加同步延迟状态展示 #303

修复说明：

  • 修复添加用户时如果已经关联默认资源组，用户登录失败的问题 #293
  • 修复无法添加和变更审批流程的bug #295
  • 解决 MySQL 在线查询超时后，查询会话没有主动关闭的问题 #302

升级步骤：

v1.6.3

4 years ago

Release date: 2019年6月23日

代码变更：https://github.com/hhyo/Archery/compare/v1.6.2...v1.6.3

已知影响使用的BUG，请等待v1.6.4版本修复

  • 无法添加和变更审批流程 #295

变更说明：

  • 实例管理添加MySQL数据字典功能 #266

易用性改进：

  • SQL工单列表增加实例、资源组、发起时间筛选项 #288
  • 优化获取用户实例列表的方法，提升页面响应率 https://github.com/hhyo/Archery/commit/7cb44134fe5f98c3a1808e9c07e39c6b51cde2c9
  • 优化MySQL上线SQL检测和提交的效率https://github.com/hhyo/Archery/commit/5d39f9fcdd9aa38e297ebcb985597acdb90ce37e
  • 工单详情增加审核结果解析IndexError异常的处理https://github.com/hhyo/Archery/commit/794c982bbb232f61081523a72cfc64aab75e569c

修复说明：

  • 注册页面禁用回车按钮 #268

升级步骤：