更新

1. 封装的RedisDB支持调用所有原生的redis方法
2. 完善字典类PerfectDict封装
3. 爬虫常驻参数由 auto_stop_when_spider_done参数改为keep_alive，但兼容auto_stop_when_spider_done参数
4. 数据入库失败自动重试，重试超过最大次数则将数据记录到redis，保证数据不丢（AirSpider不支持）
5. 无redis时使用内存做报警的频率限制

更新

1. 集成打点监控
2. 隐藏浏览器特征
3. 添加移动端的请求头

Bug Fixes

1. 修复驼峰转下划线问题
2. 修复mongodb单次批量插入不能超过16MB的问题
3. 修复拼接sql因表名奇葩导致sql语法错误问题

更新

1. 钉钉报警支持提醒所有人

# 钉钉报警
DINGDING_WARNING_URL = ""  # 钉钉机器人api
DINGDING_WARNING_PHONE = ""  # 报警人 支持列表，可指定多个
DINGDING_WARNING_ALL = False # 是否提示所有人， 默认为False

Bug Fixes

1. 修复拼接update sql时，由于数据中有单引号，导致sql错误问题

更新

1. 增强response的解码

更新

1. 优化批次爬虫下发新批次任务时需等待1分钟，防止爬虫内部缓存的批次时间没来得及更新的问题,，改为根据运行的爬虫数智能判断是否需要等待
2. 优化因下发任务时意外退出，锁不释放，导致加锁失败的问题
3. 优化爬虫意外退出，因任务防丢策略，需等待10分钟才能取到任务问题，改为根据运行的爬虫数智能判断是否需要等待
4. 强化user_agent_pool， 支持指定UA类型，包括 'chrome'、'opera'、 'firefox'、 'internetexplorer'、'safari'

更新

1. 浏览器渲染模式支持关闭浏览器

def parse(self, request, response):
    response.close_browser(request)

关闭会自动重开一个新的浏览器实例

Bug Fixes

1. 修复自定义配置对代理不生效问题

Bug Fixes

1. 修复redis zrangebyscore函数bug
2. redis 支持bool类型的值

更新

1. 临时去重定期删除过期的值
2. eamil错别字改为email ，配置文件关于邮件报警的key也做了相应的修改，升级时请注意修改下自己项目里的配置文件

# 邮件报警
EMAIL_SENDER = ""  # 发件人
EMAIL_PASSWORD = ""  # 授权码
EMAIL_RECEIVER = ""  # 收件人 支持列表，可指定多个
EMAIL_SMTPSERVER = "smtp.163.com"  # 邮件服务器 默认为163邮箱

Bug Fixes

1. 修复自定义配置对报警及代理不生效的问题

Bug Fixes

1. 修复mongodb游标bug导致查询数据不全
2. 修复format_time时间提取不准确的问题

更新

1. 完善 tools.format_time函数