Logkit Versions Save

Very powerful server agent for collecting & sending logs & metrics with an easy-to-use web console.

pro-v1.2.6

5 years ago
  1. 机器监控默认收集进程信息
  2. 修复syslog 解析的统计问题
  3. mysql 读取支持timestamp时间戳作为增量读取
  4. tailx支持定时读取功能
  5. xml 转换支持去掉attribute元素信息
  6. 默认发送到pandora的嵌套类型改为jsonstring
  7. 增加秘钥属性,输入密码时前端显示 * 号

pro-v1.2.5

5 years ago

v1.2.5

  1. 在reader中增加 encode字段,记录读取数据的编码方式
  2. 增加concat Transformer,可以拼接字段
  3. keyvalue 解析方式支持保留原始字段功能
  4. 支持读取 gz、zip、tar 后缀的文件,请使用fileauto、tailx或dirx读取。
  5. tailx和dirx模式支持expire后自动删除文件
  6. csv的解析方式支持同时定义多个key,用竖线分隔。
  7. 修复dirx中可能存在的无法关闭导致线程泄露的问题
  8. 修复windows环境中采集机器监控信息可能存在的panic问题
  9. 修复mysql 读取时没有填sql语句但是填了offset导致panic的问题

pro-v1.2.4

5 years ago
  1. add copy transform
  2. add timestamp transform
  3. make cpu collection compatible with windows 2003/2008
  4. pandora sender get schema不报错修复
  5. script reader支持填写参数/内容
  6. no data recieved修改
  7. 尝试发送失败页面显示成功修复
  8. add linux audit parser
  9. 修改es读取根据不同时间渲染的方式,改为类似mysql的魔法变量模式

pro-v1.2.3

5 years ago
  1. 修复mongo 使用cron读取存在的panic问题
  2. 文件监听fsnotify依赖库修改
  3. 优化无读取时logkit的CPU基础负载到0.5%以内,默认情况下不再开启磁盘限流
  4. 在date格式中逗号(,)自动替换成句号(.)
  5. csv parser在分割后自动去除数据前后多余的空格
  6. 在kafka中增加 maxprocessing选项,可用于调优从kafka中读取数据的超时时间
  7. 增加url convert transformer,可以对url编解码(decode和encode )
  8. xml transformer转换增加选项,解析后字段可以设置为全string,同时可以将字段展开到对外层。
  9. 修复es reader打开句柄泄露的问题
  10. sender中允许指定并发数量
  11. 增加了发送成功后同步meta文件的频率控制,负数为结束时同步,0和1为每次同步,大于1则是表示发送成功多少次后同步
  12. 修复kafka reader lag统计错误
  13. 修复kafka commit Offset的bug
  14. 允许发送原始字符串到下游,目前只有kafka sender支持,大大加快发送速度,优化性能
  15. 发送到es的时间字段从 sendTime 改为 _time
  16. 内存队列支持 []string这样的结构,原来只支持 []Data
  17. 增加tracker对象,开启debug日志后可以看到各个阶段消耗的时间
  18. 修复errorlist打印多余错误日志的问题
  19. postgres支持根据时间搜索,同时在内存中去重
  20. 增加runner的audit文件,可以审计发送的数据量。
  21. confs监听目录中的runner可以启动停止
  22. 增加docker 监控收集
  23. 修复tailx和dirx指定读取文件的编码方式不生效的问题
  24. 在filter transformer中增加正选功能
  25. 去除了pandora发送中导出到tsdb的选项
  26. 将es reader中的type选项设置为高级选项,可以默认不填
  27. 修复 http 和 socket 类型采集器启动时,端口冲突的问题
  28. 修复 pinpoint 和 skywalking 采集器的默认端口显示问题

pro-v1.2.1

5 years ago
  1. 发送到pandora增加请求超时时间设置,可以不超时,解决因为超时导致数据重复的问题
  2. 用go的runtime.MAXPROCS 替代sender的并发数设置,去掉了 ft_procs 选项
  3. 修复了读取测试数据在10行以内时拿不到数据的问题
  4. 修复了发送到kafka实际没有错误但是报错的问题
  5. 修复了部分时间类型由于使用了time.Time而不是RFC3339导致的发送失败问题
  6. 修复了在32位机器上写数据到本地文件会导致程序奔溃的问题

prov1.2.0

5 years ago
  1. 新增发送到mysql
  2. 新增mysql数据的文件导出功能
  3. 新增csv格式的文件打印功能
  4. 修复dir模式lag统计没有过滤掉不符合模式的文件的问题
  5. useragent Transformer支持多核
  6. 修复xml解析可能导致进程出错的问题

prov1.1.1

5 years ago

v1.5.3

5 years ago

通知

我们正式发布了logkit-pro(专业版),除包含开源logkit全部功能外,我们还增加了更多数据源、解析、转换和发送、集群管理等功能,欢迎试用体验!

Features

  1. socket reader中增加来源ip #675
  2. http reader support multiple prefix #678
  3. queue: able to set max disk used bytes for diskQueue #706
  4. reader/{tailx,dirx}: clean expired submeta after sync #688
  5. influxdb host 没有 http 协议头时自动添加 #714
  6. 增加 influxdb 忽略超出 retention 数据的选项 #716
  7. make qiniu log parser more flexiable #715
  8. 增加nginx parser函数直接获取log格式的正则表达式 #718 #717 #720
  9. 增加Mssql和Postgres schema选项 (#713)
  10. 导出到kodo的分片策略时,设置时间和大小值 #725
  11. 对于DataReader,不需要Parser,默认全部成功 #726
  12. csv,grok,json,ngnix parser添加多线程 (#709)
  13. add socket reader json format #728
  14. pandora sender中自动创建的workflow和repo添加描述信息 #733
  15. add logfmt parser #731
  16. ip transformer修改 ,支持服务端解析IP #730
  17. 增加选项:磁盘使用总大小限制和写入磁盘的单条数据大小限制 #738

Bugfixes

  1. 修复 autofile模式下如果文件夹内文件的最后修改时间不超过tailx expire时间,读取不到数据的问题 #687
  2. socket reader支持按行分割 #692
  3. 修复cloudtrail aws s3 同步文件时关不掉的问题 #696
  4. 修复了Windows下带有 C:/ 冒号时meta文件夹无法创建的问题 #697 感谢 @xxh2000
  5. 修复了cloudtrail aws s3 同步文件时meta记录不及时的问题 #698
  6. 修复了错误的config配置会使得agent panic的问题 #700
  7. 修复transformer不识别Data类型只识别map[string]interface的问题 (#681)
  8. reader: fix close of closed channel panic in very rare cases #683
  9. 修复Socket reader slice指针引用产生的数据截断 #686
  10. close on sendData,修复发送后不关闭导致goroutine泄露的问题 #710
  11. sql reader在构建数据库表名时根据具体的数据库类型构建 (#704) 感谢 @xxh2000
  12. 修复 k8stag Transformer参数不准确的问题 #711

v1.5.2

5 years ago

通知

七牛智能日志管理平台已正式对外开放,欢迎七牛用户申请试用!

同时我们正式发布了logkit-pro,除包含开源的社区版logkit全部功能外,我们还增加了更多数据源、解析、转换和发送,欢迎试用体验!

Features

  1. http sender增加一种整个body变为json格式发送的选项(区别于现在整个body是多行,每个行单独是json) #607
  2. pandora sender内置 pandora_key_convert,自动转换不符合格式的key,同时对这个转换做了性能优化 #611 #621 #626
  3. 增加了dirx模式的文件读取方式,该功能类似tailx,可以以通配符的形式读取不同业务的文件夹数据 #613
  4. mapreplace中增加了一个“new”选项,可以保留原来的数据 #616 
  5. 对ip transformer使用的IP库进行统一管理,使得多个runner或者多个transformer配置了相同地址的ip库使用同一份,节省了大量内存 #619
  6. 将尝试获取数据的接口统一为读1分钟才超时,而不是原来的尝试读取3次就返回 #620
  7. 对urlparam transformer不光读取request的参数,还会读取 path和host #623
  8. 对urlparam transformer支持select_keys选项,允许只选择部分请求参数,防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora) #628
  9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件 #634
  10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序 #659
  11. 当 date transformer 遇到没有时区信息的时间字符串时默认为本地时间(一般情况下,为 CST) #662
  12. 大量重构、优化 #647 #648 #649 #650 #655 #656 #657 #658 #670

Bugfixes

  1. 修复上个版本引入 mssql和postgres连接时sql报错的问题 #606
  2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题 #609
  3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接,避免unexpected EOF连接错误 #624
  4. sql reader保证每次读取完一张表都会存到meta中,同时修复sql reader同步数据库和表时存meta的错误 #625 #627
  5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况  #629
  6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题  #630
  7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题,现在一条出错其他可以继续转换  #637
  8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题 #642
  9. Ip transformer 增加.mmdb IP库格式支持  #653
  10. 新增获取 read parse transform send 历史错误信息,默人历史错误条数最大为100条  #610
  11. 修复编辑收集器的时候,extra_info 选择了false时选项变为没选中的状态 #666 

v1.5.1

5 years ago

通知

七牛智能日志管理平台已正式对外开放,欢迎七牛用户申请试用!

同时我们正式发布了logkit-pro,除包含开源的社区版logkit全部功能外,我们还增加了更多数据源、解析、转换和发送,欢迎试用体验!

Features

  1. 增加了pick Transformer:可以只选择某些字段,其他字段舍弃,与discard Transformer相对。
  2. pandora sender增加导出到kodo的rotate 大小/时间的选择。
  3. mysql reader在读取时,保证 cron或者loop时 会读取上次执行到当前执行所有匹配的数据
  4. 增加了Pandora sender raw 模式,可以直接在 _raw字段中放bytes发送
  5. 对于单条数据超过2MB的数据,也会split再放到pandora_stash中,防止超过2MB的数据死循环。
  6. Transformer中的error也会在前端界面上显示了
  7. 将pandora sender默认导出到kodo的保存时间从30天改为了永久存储

Bugfixes

  1. 修复部分reader(mongo,sql,kafka,redis,es)定时任务会和正在执行的任务争取锁导致死锁的问题
  2. 修复了dataflow中尝试读取一行数据没有close reader的问题
  3. 修复了mongo读取可能会panic的问题
  4. 修复管道型reader(mongo,sql,kafka,redis,es,snmp)读取时错误信息不显示的问题(https://github.com/qiniu/logkit/pull/560)
  5. 修复schema_free打点时使用token会打点失败的错误
  6. 修复了某些类型在使用convert Transformer会转换失败的错误
  7. 修复了发送到kafka错误信息不显示的问题
  8. 修复了http sender中字段前端配置错误,感谢 @xxh2000
  9. 修改runner的close逻辑,先close reader,再stop Run,这样可以不阻塞reader
  10. 修复了mysql 编码方式的Option字符集不正确的问题 #577
  11. 修复sender没有实现senderError类型时可能导致的panic问题
  12. 修复Socket reader可能存在的panic问题
  13. 修复mysql reader中sql.done meta为空时可能导致数据不读取的bug
  14. 修复了一个runner配置多个sender可能导致第二个以后的sender发不出数据的bug

logkit_centos_v1.5.1.tar.gz logkit_windows_v1.5.1.zip logkit_windows32_v1.5.1.zip logkit_mac_v1.5.1.tar.gz logkit_v1.5.1.tar.gz logkit_linux32_v1.5.1.tar.gz