做蜘蛛池入口頁时，大多數人把精力放在連結怎么寫、铺多少、放在哪一层，却很少回头看根目錄里那個 robots.txt 文件。可對搜尋蜘蛛来说，robots.txt 是它訪問一個域名时最先讀取的内容之一，讀完之後才决定哪些路径可以抓、下次什么时候再来。入口頁如果恰好落在被禁止的路径里，連結铺得再密也没有机會被跟進。

robots.txt 在抓取流程里的位置

搜尋蜘蛛到達一個域名时，通常先請求根目錄下的 /robots.txt。這個文件本身不是收錄開關，它只控制抓取，不控制索引。也就是说，被 Disallow 的 URL 依然可能出現在结果里，因為它可能從別處被連結發現，但搜尋引擎不會去抓取頁面内容，自然也不會顺着頁面里的連結繼續往下走。

對蜘蛛池入口頁来说，這一点很關键：入口頁的價值就在于被抓取、然後被跟随連結。一旦它落在 Disallow 范围内，跟進目标 URL 這件事基本就断了。

入口頁常见的几種 robots 配置失誤

1. 模板里預設寫了 Disallow: /

不少站点在測試阶段會用全站禁止来挡爬虫，上线时忘了删。表現是：日誌里能看到蜘蛛請求過 robots.txt，之後几乎不再深入抓取。改掉之後也不會立刻恢复，因為搜尋引擎對 robots.txt 有缓存。

2. Disallow 覆盖了入口頁所在目錄

比如入口頁放在 /go/ 或 /links/ 這類目錄下，而 robots.txt 里恰好有一條 Disallow: /go/。這種失誤不容易被發現，因為首頁和栏目頁抓取一切正常，只有入口頁安静得很。排查方法很直接：在日誌里看搜尋蜘蛛有没有請求過入口頁的 URL。

3. robots.txt 本身返回異常

robots.txt 不存在时應当返回 404，此时搜尋引擎按全部允许處理。但如果服務器把不存在的路径 301 到首頁，或者返回一個 HTML 頁面（200 狀態加 text/html），解析就會出問题。有些服務器還可能返回 500，這會被当作临时错誤，抓取行為變得不稳定。打開浏览器直接訪問站点根目錄下的 /robots.txt，看一眼返回的狀態碼和内容類型，是最省事的確認方式。

Crawl-delay 不用当真，但也別乱寫

robots.txt 里可以寫 Crawl-delay，不過主流搜尋引擎對它的支持並不一致，有的干脆忽略。真正影响抓取节奏的是站点响應速度、内容更新频率，以及入口頁本身的表現。如果确實要寫，也別寫太大，几秒的延迟在入口頁數量較多时會把整体节奏拖得很慢。

把 Crawl-delay 当成限流手段，通常得不到想要的结果：它既挡不住繁忙抓取，也容易誤伤自己的入口頁。

上线前後的自查清單

• 直接訪問站点根目錄下的 /robots.txt，確認狀態碼是 200，内容類型是纯文本。
• 检查 User-agent 分组，避免把規則寫在错誤的组里，導致對搜尋引擎不生效或誤伤其他爬虫。
• 確認入口頁所在目錄没有出現在任何 Disallow 規則中，尤其是從舊模板繼承下来的規則。
• 需要的话可以加上 Sitemap 行，但不要指望它替代入口頁的連結發現作用。
• 在日誌里核對搜尋蜘蛛是否請求過 robots.txt，以及請求之後是否繼續訪問入口頁。

改完不會马上生效

搜尋引擎對 robots.txt 有缓存，周期從几小时到一天不等。改完当天看不到變化属于正常，不必反复調整。观察几天日誌，看入口頁是否重新出現抓取记錄，再判断改動是否起了作用。

最後提醒一句：robots.txt 只是把门打開。门開了之後，搜尋蜘蛛能不能真的走到目标 URL，還要看入口頁本身是否正常返回、連結是否可解析、頁面是否值得繼續跟進。這几件事是叠加的，缺任何一环都可能卡住。