title: 当爬虫不遵守robots协议时，有没有防止抓取的可能？
topic: 爬虫（计算机网络）
content: 先说结论：在爬虫与反爬虫的对弈中，爬虫一定会胜利。换言之，只要人类能够正常访问的网页，爬虫在具备同等资源的情况下就一定可以抓取到。robots.txt 只是约定，爬虫遵守或者不遵守完全在于爬虫作者的意愿。举个例子，公交车上贴着请为老弱病残孕让座，但是大部分人并不见得会遵守。一般来讲，只有大的搜索引擎爬虫会遵守你网站的 robots.txt 协议，其它的爬虫基本都不会看一眼你的 robots.txt 写的是什么。大部分情况下
answerer_tags: None��.