title: 如何优化Python爬虫的速度？
desc: 目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法？
topic: Python
content: 谢邀。爬虫下载慢主要原因是阻塞等待发往网站的请求和网站返回 解决的方法是采用非阻塞的epoll模型。将创建的socket连接句柄和回调函数注册给操作系统，这样在单进程和单线程的情况下可以并发大量对页面的请求。如果觉得自己写比较麻烦，我用过现成的类库：tornado的异步客户端 httpwww.tornadoweb.orgdocumentationhttpclient.html 如果你打不开增加host或翻墙 host地址： 74.125.129.121 httpwww.tornadoweb.org
answerer_tags: 互联网广告行业老兵 php、python程序员