title: 要从一个网站抓几个页面，但是抓到第500多个的时候，被对方屏蔽了ip好像。最终用了迅雷，有没有什么不这么2办法？
desc: 详情如下：<br>要从一个政府网站上抓他们的公告，结果轻敌了。抓到500多，python卡在那不走了。好像因为我太原始的抓法被人屏蔽了。<br><br>不过我已经先处理好了 链接列表，所以，后来祭出了迅雷解决了。<br><br>但是还是心有不甘啊。。<br><br>这种事情的处理方式该是怎么样的啊？<br><br>我是半路出家的，佛法不行。求质点，批评。<br><br>附我的方法如下：<br>遍历了他们的公告页面-gt正则提取了所有的公告网址-gt准备了1个代理ip-gt然后开动，读取吧.<br><br>一开始不设代理，20个就卡住不让访问了.加上代理，走到500了，我还以为好点，谁知道还是停了.<br>大致如此.<br><br>虽然现在凶残的迅雷已经给我拿到2300多个页面了.但是还是不甘心， 要是自己写个能成功抓的，大概得看什么东西啊<br>求指点.. 真心不想每次都开迅雷啊，太2 了感觉.
topic: Python
content: 伪装UserAgent为主流浏览器，或主流搜索引擎 伪装refer为网站主页控制速率设置一些常用的http header， 如：Accept，Accept-Charset，Accept-Encoding，Accept-Language如果可设置cookie，尽量设上 做好这几步，除了你的程序不能运行js和渲染页面外，基本就是一个浏览器了
answerer_tags: 资深域名行业从业者、技术工程师