2019新型冠状病毒疫情实时爬虫及API | COVID-19/2019-nCoV Realtime Infection Crawler and API
简体中文 | English
本项目为2019新型冠状病毒(COVID-19/2019-nCoV)疫情状况的实时爬虫,数据来源为丁香园。
感谢大家对本项目的支持,为了不让爬虫泛滥占用过多流量,导致其他更有需要的用户无法及时获取到丁香园的数据,请大家减少对爬虫的部署。
我已经开放了一个API接口,其他人如果需要这份数据做其他的可视化,可以直接查看并调用API来获取数据,把丁香园的流量让给更有需要的人。
API:https://lab.isaaclin.cn/nCoV
注:
/nCoV/api/overall
及/nCoV/api/area
不再返回时间序列数据,时间序列数据可以在数据仓库的json文件夹下获取。如果您调用接口时使用了latest=0
参数,则需要修改请求,否则无需修改。
本项目遵循MIT开源许可,同时,若引用本API,烦请在您的项目中声明引用。
科研人员
近期多位高校师生与我联系,希望用这些数据做科研之用。然而,并非所有人都熟悉API的使用和JSON数据的处理,因此我部署了一个数据仓库,直接推送大部分统计/数据分析软件可以直接打开的csv文件,希望能够减轻各位的负担。
衷心感谢各位医疗工作者的付出和努力,苦于没有医学背景,只能通过自己的方式,让大家增强对疫情的关注,让未感染者做好更全面的防护。
本项目每分钟访问并爬取一次数据,储存在MongoDB中,并且保存所有历史数据的更新,希望能够在未来回溯病情时能有所帮助。
爬虫本身并不复杂,可以移步上方API,查看本爬虫能够获取到的所有信息条目。
目前发现浙江省/湖北省部分时间序列数据存在数据异常,可能的原因是丁香园数据为人工录入,某些数据可能录入错误,比如某一次爬虫获取的浙江省治愈人数为537人,数分钟后被修改回正常人数。
本项目爬虫仅从丁香园公开的数据中获取并储存数据,并不会对异常值进行判断和处理,因此如果将本数据用作科研目的,请自己对数据进行清洗。同时,我已经在Issue中开放了异常数据反馈通道,可以直接在此问题中反馈潜在的异常数据,我会定期检查并处理。
所有研究结果均仅作为参考。
本项目不需要任何捐赠。
全国各地的医疗资源都处于短缺的状态。如果希望捐赠的人,请移步各个红十字会或者官方认可的捐赠平台,他们能够更加妥善地运用这笔资金,帮助更有需要的人。
祝大家一切都好。