这是Python爬虫系列的源代码，以 糗事百科 为例
糗事百科源代码.PNG点开源代码中的不同标签，发现其实网页中显示的各种段子其实都在以下的几行代码之间
<div > <span> </span>所以，当我们知道了自己想要的信息保存在哪个部分之后，我们就可以通过正则表达式（稍后会介绍）将这一部分信息提取出来，比如很多人爬的豆瓣电影，可以将Top250或者自己感兴趣的影片信息批量导出，或者把一些网站中的图片批量下载下来。
其实，像谷歌、百度这些搜索引擎也可以看成是网络爬虫，但是它们爬的是整个互联网上的信息，并且要在很短的时间内将结果显示出来，这就涉及到算法和优化的问题，而今天爬取糗事百科段子的程序只是一个很简单的爬虫，算是入门。
源代码放在我的GitHub主页上，下面主要是对具体代码的理解和分析。
注意：使用Python2.7版本
代码中用到了urllib2和re两个库，前一个用来获取网页的源代码，后一个使用正则表达式提取我们想要的信息，这也是我们的代码主要做的两件事情。
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)request = urllib2.Request(url, headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})response = urllib2.urlopen(request)pageCode = response.read().decode('utf-8')url是我们想要爬的网页地址，request是请求网页，urllib2.Request(url, headers)中的地址，的内容，由于网页是中文，利用decode('utf-8')将字符串变为'utf-8'编码格式，防止乱码。
首先上图
正则表达式.png正则表达式有很多语法，最好在实际使用中边用边学。我们的代码中提取内容的部分为
pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)items = re.findall(pattern,pageCode)pageStories = []for item in items: pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[3].strip()])先看网页与源代码对应的部分
获取内容部分.PNG获取内容部分代码.PNG从
<h2>一直到最后的</a>，这其中包括了发布人、内容、好笑数和评论数，我们可以将这四部分提取出来。patter(最小的合数是几？最小的合数是4。合数是指自然数中除了能被1和本身整除外，还能被其他数（0除外）整除的数。自然数从0开始。)n = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)是匹配模式，.匹配除换行符‘\n’之外的字符，re.S代表(dot matchs all)，.也匹配换行符，.*和.*?的区别是前者是贪婪匹配，后者是非贪婪匹配。
比如说匹配输入串A: 101000000000100
使用 1.*1 将会匹配到1010000000001, 匹配方法: 先匹配至输入串A的最后, 然后向前匹配, 直到可以匹配到1, 称之为贪婪匹配。
使用 1.*?1 将会匹配到101, 匹配方法: *匹配下一个1之前的所有字符, 称之为非贪婪匹配。
注: 翻译自StackOverflow回答
(.*?)代表一个分组，是我们想要提取出的信息，re.findall(pattern,pageCode)表示以pattern寻找pageCode中能匹配的所有子串，并以列表形式返回子串。item[0]、item[1]、item[2]、item[3]分别代表发布人、内容、好笑数和评论数，.strip()表示删除字符串开头和末尾的所有空白符（包括'\n'、'\t'、'\r'、' '）。'\n'换行，表示光标移到下一行，'\t'水平制表位，相当于按了键盘上的TAB键，'\r'回车，相当于光标回到该行首的位置。
getPage函数得到页面的代码，getPageItem获得页面中我们想要的内容，储存在列表中，loadPage函数在内容不够时加载新页面，并添加到self.stories变量中，getOneStory函数输入‘Q’退出程序，按回车显示一条内容，其中self.enable变量用来判断程序是否结束。
扫码加微信详细咨询太和智慧养老产品和平台服务！
