Feapder Versions Save

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

v1.7.7

1 year ago

更新

  1. AirSpider 支持设置内存任务队列最大缓存的任务数
    # 内存任务队列最大缓存的任务数,默认不限制;仅对AirSpider有效。
    TASK_MAX_CACHED_SIZE = 0
    
  2. 新增TaskSpider爬虫,内部封装了取种子任务的逻辑,内置支持从redis或者mysql获取任务,也可通过自定义实现从其他来源获取任务

Bug Fixes

  1. 修复 request.copy()的bug

v1.7.6

1 year ago

Bug Fixes

  1. 修复去重库bug

v1.7.5

1 year ago

更新

  1. 去掉锁的,允许同时生产cookie
  2. 优化collector
  3. 修改默认webdriver的配置,避免selenium被检测到
  4. 支持飞书报警
  5. response 支持from_text
  6. 默认开启自动适配浏览器版本
  7. 修改爬虫并发数的默认值为32
  8. 优化框架核心调度,加快调度速度且减少CPU占用

Bug Fixes

  1. 修复浏览器渲染模式下,没拼接params的bug
  2. 修复redis锁的bug
  3. 修复download_midware指定多个时,序列化报错问题

v1.7.3

2 years ago

更新

  1. 支持自动安装 selenium驱动
  2. redisdb 支持统计redis使用情况
  3. feapder 支持zip压缩命令,会过滤掉.git .pyc等无用的文件及文件夹(压缩项目 上传到feaplat很方便)
  4. 命令行工具改为从剪切板读取内容,解决内容过长控制台不能输入问题
  5. 浏览器渲染添加xhr_data函数

Bug Fixes

  1. 修复去重库 redis连接问题

v1.7.2

2 years ago

更新

  1. 浏览器渲染模式-chrome 支持指定下载保存路径
  2. 优化邮件报警:当收件人为多人时收件人处显示为多人
  3. 爬虫集成支持传参
  4. 浏览器渲染模式支持拦截XHR数据

Bug Fixes

  1. 修复打点监控已知问题

v1.7.1

2 years ago

更新

  1. cookie池改为用户池,更易使用,详见:https://boris.org.cn/feapder/#/source_code/UserPool
  2. 兼容maria数据库
  3. 以扩展的方式提供pgsql入库管道,详见:https://github.com/Boris-code/feapder_pipelines

Bug Fixes

  1. 修复mongo更新bug
  2. 修复创建item bug

v1.7.0

2 years ago

更新

  1. 适配python3.10
  2. 加强时间格式化工具函数

v1.6.9

2 years ago

更新

  1. 优化LoginCookiePool cookie池
  2. mongo 支持 url连接方式
  3. mongodb 更新数据时 完善获取更新条件的鲁棒性

Bug Fixes

  1. mysql 修复to_json和limit=1同时用时逻辑bug

v1.6.8

2 years ago

更新:

  1. pipelines支持close方法

Bug Fixes

  1. 修复mongo pipeline 更新数据Bug

v1.6.7

2 years ago

更新

  1. 优化redis锁
  2. 支持cookie池
  3. response支持给text重新赋值,应对浏览器渲染重新加载页面源码的场景
  4. log支持方法提示
  5. 框架主线程异常捕获,防止某个线程崩溃导致爬虫卡死
  6. 支持更细粒度的去重配置
  7. 修改main函数启动模板
  8. request支持获取代理及ua
  9. 命令行支持 feapder create --params
  10. 生成的item 显式的指定table_name,防止自动提取表名时提取错误
  11. 下载中间件支持指定多个

Bug Fixes

  1. 修复redis集群transaction参数不再支持的问题