标签：爬虫协议

robots.txt屏蔽后，搜索蜘蛛还会来抓URL吗？

robots.txt常被视为控制搜索蜘蛛的“开关”，但实际上它只是抓取协议，不是访问保护墙。许多站长发现，明明设置了Disallow，蜘蛛还是出现在被屏蔽的URL上。本文讨论蜘蛛池场景里，robots.txt的实际作用、被忽略的原因，以及正确的排查和应对思路。