title: Python爬虫进阶？
desc: 现在是刚Python入门，也编写了一些简单的爬虫代码，如通过正则，多线程的爬虫，爬取贴吧里面的图片，爬取过代理网站的IP，还接触了scrapy方面的知识。想继续深入下去，还需要做哪些方面的工作，另外还需要看那些方面的书，以及一些开源项目，求各位问答社区大神指点下。。。<br>谢谢！！！
topic: Python
content: 没想到一周得了这么多的赞。那我继续讲讲我这一周Python爬虫进阶的路。首先，在上周五的总结中，表示自己当前在自己写爬虫框架，并询问组长应该以一个怎样的曲线来提高。组长让我现在从线程入手，从当前的单机单线程到单机多线程，再到单机多进程最后到多机多进程。至于多线程，最基本就是生产者消费者模式。所以这一周，我在继续优化自己的框架的同时，引入多线程和队列，我的思路大概就是主线程就只做调度，涉及到功能用子线程
answerer_tags: 爬虫工程师