title: 如何应对网站反爬虫策略？如何高效地爬大量数据?
desc: 像一些大型的网站会有反爬虫策略比如我之前在爬淘宝评论后很快就会被封，大概是短时间爬太多有什么好的策略吗？比如代理？不过感觉代理也不能稳定吧
topic: Python
content: 爬虫Spider，反爬虫Anti-Spider，反反爬虫Anti-Anti-Spider，这之间的斗争恢宏壮阔... Day 1 小莫想要某站上所有的电影，写了标准的爬虫基于HttpClient库，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。这个站点的运维小黎发现某个时间段请求量陡增，分析日志发现都是 IP1.1.1.1这个用户，并且 useragent 还是 JavaClient1.6 ，基于这两点判断非人类后直接在Nginx 服务器上封杀。Day 2
answerer_tags: 大搜车工程师