keyword_based_Sina_weibo_crawler

A web crawler for Sina, search and retrieve microblogs that contain certain keywords 一个简单的python爬虫实践，爬取包含关键词的新浪微博

English

此项目主要功能是通过微博“搜索”页面，每天自动爬取所有包含自定list中词汇的微博原数据。

原为本人研究生论文【Spatial-temporal Analysis of International Connections Based on Textual Social Media Data】获取数据所用。

低速可控，简单粗暴，适合用来有针对性的搜集数据量不是很大的包含关键词的微博，每日可爬3-6万条。

不过后来发现其实新浪有这个API，但是隐藏得很深，等我发现的时候这个爬虫已经写完了，抹泪

:(

さぁ、始めよう~

说明

• 基于python 2（添加了3的版本）
• 在 email_info.py中添加你自己的邮箱，密码，和接收邮箱
• 在sina_crawler.py开头替换你自己的关键词列表
• 日期格式转码和计算等方法都在function.py文件中
• 后续的处理JSON，提取有用信息和我目标项目的本体部分请看用python处理微博JSON数据小例

项目介绍

• 本项目没有UI，虽然简陋但是我写的第一个爬虫，贵在能跑
• 本项目可以24小时不间断运行以获得更完整的微博爬取
• 爬取微博启动和遇到bug的时候会发邮件给你
• 获取的JSON数据写入txt，靠文件夹&文件名进行管理
• 后续对获取到的JSON数据进行处理请查看 用python处理微博JSON数据范例

已获取的微博JSON数据按照request发起的日期分别存在相应的文件夹内部: WBTestdata>04-12.

每一页JSON包含十条微博数据（一般情况），将每次返回的JSON单调存在一个txt里，命名规则为“国家名”+“日期”+“页码”.

可以使用在线JSON结构化工具进行审查

项目背景

新浪微博各个客户端都提供“搜索”功能，可以得到包含关键词的微博，一般默认按照从新到老的发布顺序显示. 这里我们的目标页面是手机版的新浪微博 m.weibo.cn（因为结构简单，加载的微博数据直接以JSON文件返回，很容易获取） 比如，搜索关键词为德国时，页面显示如下：

打开开发者工具，选择network--XHR，然后你往下滚动页面直到有新的微博加载进来，你会发现下面那个链接：

点击它进行预览：

没错，这个就是我们的目标数据了--每当用户滚轮触底，就会通过此链接返回十条JSON格式的新微博. 我们看一下这个链接的格式：

https://m.weibo.cn/api/container/getIndex?type=all&queryVal=%E5%BE%B7%E5%9B%BD&featurecode=20000320&luicode=10000011&lfid=106003type%3D1&title=%E5%BE%B7%E5%9B%BD&containerid=100103type%3D1%26q%3D%E5%BE%B7%E5%9B%BD&page=2

解码一下URL，其实它就等于：

https://m.weibo.cn/api/container/getIndex?type=all&queryVal=德国& featurecode=20000320&luicode=10000011&lfid=106003type%3D1&title=德国&containerid=100103type%3D1%26q%3D德国&page= 1%26q%3D%E5% BE%B7%E5%9B%BD&page=1

关键信息一目了然，那就是queryVal=德国 和 page=1根据这个规则我们就可以构建目标链接进行数据爬取了。

新浪的这个JSON数据就是所谓的一页（1 page），每次返回大概10条微博记录，但有时候也会少于10条，上图中card_group中有几个数字就是有几条记录.

代码结构

• 先引入requestimport requests
• 定义header伪装浏览器

# add header for the crawler
headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

• 添加你想要检索的关键字的list

# Add in your search list!
search_list = ["所罗门群岛", "斯洛伐克", "贝宁",]
......

• 将中文关键词转码成URL可以使用的，方便后面构造链接

# Create url encoded search list based on the word list you have gaven
urlencoded_search_list = url_encoding(search_list)
urls = create_url_list(urlencoded_search_list)

• 写一个while: 1的循环执行不停歇的运转，每一次循环是执行当天的任务. 当天的任务我规定为： 从开始检索的page1开始持续往后搜索，并且获取每一page中最后一条微博的创建时间，如果这条微博创建于两天之内，那我们就继续往后获取页面，直到页面中最老一条的微博是两天前创建的，此时停止本词的搜索，进行下一个词语

这里需要这样操作的原因在于，新浪似乎并不会真的按照创建时间顺序依次返回所有的微博，两次同一瞬间的检索分别得到的10条微博中可能会有几条不一样的，而越老的微博，新浪返回的时间间隔越大 -- 举个例子，假设用户创造微博的速率是稳定的，在进行包含关键词AAA的检索时，page1中的10条微博都创建于5分钟内，互相间隔几秒，但当你查看page 100时，其中的10条微博则可能互相间隔几个小时 -- 这肯定是不科学的. 这就限制了我们在爬取微博的时候必须从新到老，并且限制不要爬太多页面（因为老数据过于稀松价值会降低），而且对某一个时段最好能重叠搜索，所以我创造了上面的规则，使每天的任务其实为【到现在为止前72小时内发布的微博】，这样时间上的重叠能更多的获取到更全的“老”微博。

• 在while循环内
  1. 给自己发一封邮件提示程序开始了
  2. 根据日期创建每日数据的文件夹
  3. 对于每一个在list中的关键词从page=1开始往后检索，获取一页写下一页，同时获取每一页最后后一条微博的创建时间，判断是否停止搜索
  4. 完成所有关键词检索后，给自己发一封邮件提示今日任务完成了
  5. 打印一些数据信息，写每日记录，计算需要睡多久（保证每天在同一时刻开始任务以减少额外的未知误差）

注释非常详细，细节就请直接参考代码.