Crawlergo Versions Save

Bug fix #129 #128

What's Changed

• fix: get wrong url root domian by @moonD4rk in https://github.com/Qianlitp/crawlergo/pull/81
• 添加ubuntu 18 + Chromium 99 运行依赖 by @1oca1h0st in https://github.com/Qianlitp/crawlergo/pull/86
• 修复targets里面的对象都指向最后一个值的问题 by @chushuai in https://github.com/Qianlitp/crawlergo/pull/94
• Fixed WriteFile and ReadFile by @zjj in https://github.com/Qianlitp/crawlergo/pull/98
• fix(filter): url fragment deduplication by @PIGfaces in https://github.com/Qianlitp/crawlergo/pull/101
• perf(static-cmp): Static resource matching optimization by @PIGfaces in https://github.com/Qianlitp/crawlergo/pull/112

New Contributors

• @moonD4rk made their first contribution in https://github.com/Qianlitp/crawlergo/pull/81
• @1oca1h0st made their first contribution in https://github.com/Qianlitp/crawlergo/pull/86
• @chushuai made their first contribution in https://github.com/Qianlitp/crawlergo/pull/94
• @zjj made their first contribution in https://github.com/Qianlitp/crawlergo/pull/98
• @PIGfaces made their first contribution in https://github.com/Qianlitp/crawlergo/pull/101

Full Changelog: https://github.com/Qianlitp/crawlergo/compare/v0.4.2...v0.4.3

Thanks to @PIGfaces for contributing a lot of great code

为了兑现对于 BlackHat Arsenal 的承诺，代码开源。 https://www.blackhat.com/eu-21/arsenal/schedule/index.html#crawlergo-a-powerful-browser-crawler-for-web-vulnerability-scanners-25113

Fix:

• 修复过去实际开启了多个浏览器，而不是多个tab页的问题。这次修复将一定程度减少资源消耗，提高速度。
• 修复一些可能导致内存泄露的问题。

请注意！！！ 本项目仅用于网络安全学术研究和讨论，不可用于任何违法活动。 开源协议为GPL，不可用于任何闭源商业产品。

作者保留项目所有权利，视情况追究违反GPL协议的侵权行为。

Features:

• 新增 --fuzz-path-dict 参数，可通过字典自定义fuzz目录列表，具体见README参数说明。 #71
• 新增 --no-headless 参数，可关闭chrome headless模式，直观看到爬取过程，具体见README参数说明。 #72

使用时请注意遵守相关法律规定！本工具仅供学习和已授权情况下的网站爬取。

Fix:

• 修复部分情况下子域名返回错误的问题。#60

Features:

• 新增 --form-values 参数，自动填充输入框时，会根据你的类型值设置来自定义内容，具体见README参数说明。
• 新增 --form-keyword-values 参数，自动填充输入框时，会根据你的关键字来自定义内容，具体见README参数说明。 #38 #34
• 新增 arm64 架构的程序版本。#63

由于最近crawlergo关键字被加入到各家WAF规则中，建议自定义填充的值。同时，建议自定义请求头，这样请求头就不会带上spider-name。 使用时请注意遵守相关法律规定！本工具仅供学习和已授权情况下的网站爬取。

Fix:

• 修复部分情况下 --robots-path 功能导致的程序超时挂起。#43

Features:

• 新增 --request-proxy 参数，支持socks5代理，爬虫所有网络请求均经过代理。#51, #21, #1
• 新增 --output-json 参数，将爬虫结果JSON序列化之后输出到文件。
• 新增 arm 架构的程序版本。#53

Thanks:

• 感谢猪猪侠 @ring04h 贡献的僵尸crawlergo进程清理代码。

使用时请注意遵守相关法律规定！本工具仅供学习和已授权情况下的网站爬取。

Fix:

• 修改填充表单的文本，移除所有和360、0keeTeam相关的内容。
• 将crawlergo单独编译，体积大幅缩小。

使用时请注意遵守相关法律规定！本工具仅供学习和已授权情况下的网站爬取。

Features:

• 新增 --push-to-proxy 选项，用于在任务结束时将结果推送到代理地址，可配合被动扫描器使用
• 新增 --push-pool-max 选项，推送结果时的最大并发数
• 新增 --log-level 选项，可设置日志打印等级

Fix:

• 解决了URL解析错误问题 #20

优化了打印输出，修复了一些问题，年前的最后一版。 祝大家新年快乐。

Features:

• 新增选项 --ignore-url-keywords，用于在带Cookie爬取时排除掉注销链接

Fix:

• darwin版本无法运行的问题 #11
• windows版本部分chrome未清理 #18

Features:

• 新增 --event-trigger 相关选项，解决部分漏抓
• 新增 --before-exit-delay 选项
• 事件触发逻辑增加 javascript 伪协议识别
• 支持Host绑定（特定版本）