标簽：爬虫协议

robots.txt屏蔽後，搜尋蜘蛛還會来抓URL吗？

robots.txt常被视為控制搜尋蜘蛛的“開關”，但實际上它只是抓取协议，不是訪問保護墙。许多站長發現，明明設定了Disallow，蜘蛛還是出現在被屏蔽的URL上。本文讨论蜘蛛池场景里，robots.txt的實际作用、被忽略的原因，以及正确的排查和應對思路。