NovelSpider

• 爬取小说，练练手。仅供学习交流之用。
• 可抓取特定小说，并生成 txt 文件，然后生成二维码手机扫描下载小说。

Feature

• 多进程抓取 biquge 小说，存入数据库
• 将单个小说的所有章节导出为 txt 文件
• 将文件上传到云端，生成二维码，以便手机下载 txt 文件

环境要求

• *Unix 环境
• redis 服务
• PHP >= 7.2

使用

docker 环境

• 构建镜像 docker build . --file ./Dockerfile --tag {your_tagname}
• 也可以直接拉取我构建好的镜像
  • docker pull suhanyujie/novel_spider:latest
  • docker run --name novel_spider -d suhanyujie/novel_spider:latest

安装(install)

• 前端界面参考 https://github.com/suhanyujie/NovelSpiderFrontend

配置

• cp env.example .env
• 在 .env 文件中配置好对应的环境信息
• 安装 composer 依赖：composer install

运行

• 启动提供 web 服务的程序，必须到项目根目录运行：php Novel/NovelAdmin/index.php start
• 启动：./start.sh start
• 停止：./start.sh stop

功能使用

• 抓取列表 php Novel/NovelSpider/start_list.php start
• 抓取章节内容 php Novel/NovelSpider/start_detail.php start
• 将小说导出为 txt 文件：php Novel/Consoles/index.php novel:exportTxt 10，其中 10 是小说id
• 通过二维码下载小说：php Novel/Consoles/index.php novel:uploadToCloud 10，其中 10 是小说id

一些注意事项

• 更新 workerman 的软件包 composer update workerman/workerman

composer 镜像源

• 可以先把 composer.lock 文件删除，配置阿里的镜像源 composer config repo.packagist composer https://mirrors.aliyun.com/composer/
• 然后 composer install

关于爬取小说的一些思路

web api

• 控制器路径位于 Novel/Controllers。例如控制器 Novel/Controllers/Access/LoginController.php 的 URI 是 /Access/Login/login

列表爬虫思路：

• 一个单独的进程，会有定时器，定时循环所有小说看他们是否产生最新连载。 20170422
• 一旦有发现一个，则将其尚未爬取的章节加入到“爬取详情页”的任务队列

数据表

• novel_main 一部小说一条记录

处理状态流程图

一些记录

• 将 illuminate/database 升级到 ^8.61.0
• dom解析使用一个dom解析服务 20190406
• 实现和前端NovelSpiderFrontend的简单交互 20190405
• 去除软件包indieteq/indieteq-php-my-sql-pdo-database-class，改用illuminate/database 20190303
• 引入league/route路由，对应文档http://route.thephpleague.com/4.x/usage/ 20190109
• 添加前端界面展示 20181106
• 更换出具库的查询工具 20181102
• 建立好测试目录,引入phpunit 20170423
• 编写测试代码.已成功在本地运行一个测试代码

参考

• workerman 官方手册 http://doc.workerman.net/

类库

• 数据库 orm，使用illuminate/database
• workerman 框架,来自第三方. https://github.com/walkor/Workerman
• DOM 解析，querylist。
• 前端界面是基于：iview-admin，仓库地址是：https://github.com/suhanyujie/NovelSpiderFrontend