Vue.js+Node.js爬虫,GitHub数据的爬取与展示。
之前使用Node.js开发一个小爬虫,算是初步对爬虫有了一定的了解,但爬取的数据没什么意义。最近使用GitHub的频率比较高,所以准备爬取一些GitHub的数据玩下。目前爬取了中国区followers排名前100的大神,以及各个编程语言stars大于1000的开源项目。
Talk is cheap. Show me the code.
访问地址:http://www.tdon.site/vue-github-rank/(pc端开启手机模式浏览效果更佳)
扫描二维码
git clone https://github.com/XNAL/vue-github-rank
// 需要先安装mysql,并创建数据库,可参考源码中的`github_rank.sql`
cd vue-github-rank
npm install
// 启动node服务
gulp nodemon
// 本地运行需另开一个终端框口并执行以下命令,然后访问`http://localhost:8080/`
npm run dev
async/await
。proxyTable
,以及配置SCSS
的相关loader。关于爬虫爬取数据的说明:目前是每2个小时去GitHub官网爬取数据,取到的数据会存入数据库中。在爬取的过程中可能会出现单个页面一直无法取到数据的情况,为避免程序一直卡在此步骤,目前是单个页面数据循环请求50次,如果仍取不到数据则跳过此项数据的爬取,等待下一次再进行爬取。
数据库字符集需要设置为utf8mb4
,因为需要存取emoji表情。