Python 「多线程」 「爬取分页」，赶紧收藏起来吧

最近一个需要求就是爬取多页面的数据，这里着重介绍grequests ，介绍grequests前，这里需要向大家介绍下gevent,为Python提供了比较完善的协程支持 ,什么意思呢？直白点解释就是当你在请求多个网络（I/O）的时候，由于每个网络响应的时间不一样， IO操作就非常消耗时间，经常使程序处于等待状态，有了gevent为我们自动切换协程，而不是等待IO。（使用gevent，可以获得极高的并发性能），举个例子：

from gevent import monkey; monkey.patch_all()
import gevent
import urllib2

def f(url):
    print('GET: %s' % url)
    resp = urllib2.urlopen(url)
    data = resp.read()
    print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
        gevent.spawn(f, 'https://www.python.org/'),
        gevent.spawn(f, 'https://www.yahoo.com/'),
        gevent.spawn(f, 'https://github.com/'),
])

运行结果：

GET: https://www.python.org/
GET: https://www.yahoo.com/
GET: https://github.com/
45661 bytes received from https://www.python.org/.
14823 bytes received from https://github.com/.
304034 bytes received from https://www.yahoo.com/.

从结果看，3个网络操作是并发执行的，而且结束顺序不同，但只有一个线程。

grequests，是一个gevent和requests的结合，达到的效果就是异步并发请求不同的页面，等所有请求相应完成后，一起返回结果，大大的提高了我们的请求效率和代码优化

下面是一个简单的例子作为参考

import grequests
req_list = [   # 请求列表，支持get post put  等多种方法
    grequests.get('httpd://www.toutiao.com/get?a=1&b=2'),# 故意写错协议 测试异常
    grequests.get('https://www.baidu.com/'),
    grequests.put('http://www.toutiao.com/post', json={'a': 1, 'b': 2}),
]

#定义异常
def exception_handler(request, exception):
     print(request.url) # httpd://www.toutiao.com/get?a=1&b=2
     print(exception)  # No connection adapters were found for 'httpd://www.toutiao.com/get?a=1&b=2'

#res_list = grequests.map(req_list)    # 返回的是list
ret_list6= grequests.imap(req_list, exception_handler=exception_handler)  # 返回的是生成器

for index in ret_list6:
    print(index.status_code) #打印请求状态码
    #print(index)  # 打印第一个请求的响应文本

目前基本上我的很多功能都是通过以上实现扩展的 ，通过测试 至少能够并发请求13000条请求（亲自测试的结果）相应时间很快，我是在window 上运行 可能在linux 上效果更佳完美

如果大家有什么不懂的可以私聊我，一起学习一起进步