robots.txt 真的是“绝對禁止”吗？
经常有站長問：我在 robots.txt 里寫了 Disallow，為什么搜尋蜘蛛還是抓到了這些 URL？是不是蜘蛛池有“特殊办法”？實际上，robots.txt 並不是一道物理屏障，它更像是一份“行為约定”——搜尋引擎的蜘蛛會主動讀取這個文件，然後决定哪些路径不能抓取。但這里有几個關键点容易被忽略。
robots.txt 只影响“抓取”，不影响“發現”
搜尋蜘蛛發現一個 URL 的途径有很多：站内連結、外部連結、Sitemap 等。即使你通過 Disallow 禁止了某個路径，蜘蛛仍然可能通過其他頁面上的連結“看到”這個 URL。只不過，当它试图抓取时，會先检查 robots.txt，發現被禁止，就放弃下载该頁面。所以，蜘蛛“不来”不等于“不知道”，而是“知道但遵守規則不碰”。
蜘蛛池這類工具主要模拟蜘蛛訪問来促進 URL 被發現，但它無法绕過 robots 协议。如果某個 URL 被 Disallow，蜘蛛池生成的抓取請求同样會被搜尋引擎拒之门外。這正是很多站長使用蜘蛛池後發現收錄依然没有起色的原因之一——你的 URL 可能被 robots 規則挡住了，而蜘蛛池只能解决“發現”問题，不能解决“许可”問题。
常见誤区：用蜘蛛池測試 robots 規則的效果
一部分站長抱着“先 Disallow，再用蜘蛛池去抓，看它抓不抓”的思路来驗證規則是否生效。這其實是個不错的測試方法，但要注意两点：
- 蜘蛛池的抓取請求會模拟搜尋引擎蜘蛛，但它是否真的遵守 robots，取决于具体實現，不能完全等同于百度或 Google 的蜘蛛。
- 搜尋引擎對 robots 的缓存和重新讀取有時間差，可能你更新了 robots.txt，但蜘蛛還在用舊的缓存規則進行判断。
因此，即便蜘蛛池測試顯示“抓取成功”，也不能說明搜尋引擎會這么做。反過来，如果蜘蛛池測試“抓取失敗”，倒可以確認路径确實被屏蔽，但屏蔽的范围是否過大，需要仔细检查。
Disallow 和 Allow 的優先級：容易踩的坑
robots.txt 支持通配符，也支持 Allow 指令。很多站長以為 Disallow 是绝對禁止，其實在較長匹配原則上，搜尋引擎會按顺序匹配，或者優先選擇最短的匹配規則。比如下面的寫法：
User-agent: *
Disallow: /admin/
Allow: /admin/public/
這段規則的本意是禁止抓取 /admin/ 目錄，但允许 /admin/public/ 子目錄。實际执行时，不同的搜尋引擎可能處理不同，有的會優先 Allow，有的則按照先後顺序，Disallow 在前就會導致 Allow 不生效。這就是為什么有些 URL 你觉得已经放行了，但蜘蛛還是不来。用蜘蛛池针對這些具体 URL 做測試，可以帮你確認規則是否符合预期。
robots.txt 不是秘密文件，搜尋蜘蛛會抓取它本身
有人以為 robots.txt 放在服務器上，蜘蛛不抓，別人也看不到，其實它是完全開放的。任何蜘蛛都可以抓取 robots.txt，甚至普通浏览器也能訪問。搜尋引擎會定期更新 robots.txt 内容，並影响後續的抓取决策。如果站点改版时誤寫了 Disallow: / ，等于告诉所有蜘蛛“整個網站都別抓”。這種情况下，蜘蛛池再做 URL 發現也没有用，因為蜘蛛连首頁都不會抓。
如何用蜘蛛池發現 robots 誤伤？
你可以把核心 URL 整理成列表，通過蜘蛛池發起抓取，然後观察返回狀態碼。如果返回 403 或 404，可能是服務器設定問题；如果返回 200，但搜尋引擎始终不收錄，就值得怀疑是否被 robots 拦截。同时，用搜尋引擎的“robots 測試工具”（如果可用）去模拟真實蜘蛛，對比蜘蛛池的结果，能更快定位問题。
真實情况：搜尋引擎蜘蛛在一些特殊情况下會忽略 robots
虽然搜尋引擎普遍遵守 robots 协议，但也有一些例外。例如，為了安全或防攻击，搜尋引擎可能保留抓取某些恶意代碼或安全漏洞 URL 的權利。還有少數情况下，如果 robots.txt 本身响應缓慢或出現 5xx 错誤，蜘蛛可能暂时放弃讀取，並沿用上次的規則，或者直接不抓取。但這些都不是蜘蛛池能解决的問题，反而說明站点基础配置要優先做好。
建议：把 robots.txt 当成“抓取预算的管理工具”，而不是“封鎖墙”
與其纠结某個 URL 是否被完全禁止，不如用 robots 来引導蜘蛛優先抓取重要内容。Sitemap 中列出的 URL 通常會被蜘蛛優先考虑，robots 中 Disallow 的路径尽量只放後台、脚本、重复頁面等不需要收錄的资源。核心内容頁面一定要保證可抓取。蜘蛛池在 URL 發現上有它的價值，但請记住：它只负责“叫门”，门是否開，還是 robots 说了算。
最後回到最初的問题：robots.txt 屏蔽的 URL，搜尋蜘蛛真的不抓吗？答案是：遵守規則的蜘蛛确實不抓，但前提是它知道你屏蔽了。蜘蛛先發現、再讀取 rules、最後决定抓不抓。如果你用蜘蛛池做了 URL 發現，却忽略了 robots，那發現得越多，被拒绝的次數也越多，反而浪費了抓取预算。正确操作是：先更新好 robots.txt，再用蜘蛛池去驗證核心 URL 的可抓取性，這样才能真正提升收錄效率。