更新

1. 日志支持带颜色输出，且支持更多的配置
2. 强化 tools.format_time 函数

更新

1. 下载时间间隔支持随机
2. 生成的项目包含爬虫文档及数据校验文档

更新

1. 爬虫支持重复运行

举例说明

import feapder


class AirSpiderDemo(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    # 循环运行，本次结束后马上开始下一次
    spider = AirSpiderDemo()
    while True:
        spider.start()
        spider.join() # 等待结束

    # 直接开启10个爬虫
    # for i in range(10):
    #     spider = AirSpiderDemo()
    #     spider.start()

Bug Fixes

1. 修复浏览器渲染 不自动拼装绝对连接问题

更新

1. 邮件报警支持自定义邮件服务器
2. 配置文件整理

更新

1. 浏览器渲染支持自定义参数
2. 支持firefox浏览器渲染
3. redis 断开自动重连
4. 优化mongo入库效率
5. feapder create 支持创建cookie、配置文件
6. 配置文件新增REQUEST_TIMEOUT参数

更新

1. 支持mongo存储
2. Request支持携带非基本类型的数据
3. AirSpider 支持爬虫开始与结束的回调函数

Bug Fixes

1. 修复拼接sql时与数据库保留关键字冲突问题
2. 解决redis2.x 3.x版本不兼容问题，即3.x存储dict、list、tuple报错问题
3. 修复创建item，因不同库有同名表导致item字段不准确问题

更新

1. 浏览器渲染模式下response携带browser, 可操控浏览器
2. download_midware 支持自定义下载, 不使用框架内置下载器

    def download_midware(self, request):
        response = requests.get(request.url)
        return request, response

Bug Fixes

1. render_time 参数不存在bug

更新

1. 支持企业微信报警
2. 支持响应校验

    def validate(self, request, response):
        """
        @summary: 校验函数, 可用于校验response是否正确
        若函数内抛出异常，则重试请求
        若返回True 或 None，则进入解析函数
        若返回False，则抛弃当前请求
        可通过request.callback_name 区分不同的回调函数，编写不同的校验逻辑
        ---------
        @param request:
        @param response:
        ---------
        @result: True / None / False
        """

        pass

更新

1. 支持指定浏览器渲染时长