crawlergo-plus

爬虫的暴力美学，在projectdiscover的katana和原版crawlergo的基础上修改而来，目前只提供了测试，还没有完全修改好
1. 增加了对页面<a href="#">标签的暴力点击，但是做了对根域的判断，不会点击的超范围
2. 增加了sitemap.xml的解析功能
3. 增加了对响应头的解析
4. 增加了对更多链接属性，比如src,href,link,background等等
5. 增加了结果回调，但是如果用这个的话，不会触发过滤函数，结果会更复杂
6. 增加自定义正则，这点还在完善

注意和测试

1. 经过对projectdiscover的katana的测试(参数仅使用 katana -u https://security-crawl-maze.app -json) 和原版crawlergo (simple智能过滤启用robots.txt解析,不启用路径fuzz，填充post为username=admin&password=password) 对 https://security-crawl-maze.app 爬取以及crawlergo-plus(启用robots.txt,sitemap.xml,链接全点击,post参数为username=admin&password=password，以及采用noheadless，simple过滤模式)

katana: 15条结果(不重复) [参数还没摸明白，在研究一下]
crawlergo: 322 条结果(不重复，存在不可用链接, 一些.found未找到)
crawlergo-plus: 711条(不重复,存在不可用链接，但是页面.found基本全部找到)