robots.txt 是蜘蛛進门前的第一張說明

蜘蛛訪問一個陌生域名时，通常會先請求 /robots.txt，再决定哪些路径可以抓、哪些不必碰。對蜘蛛池来说，入口頁往往批量部署、共用同一套模板，一份寫错的 robots.txt 影响的不只是一個頁面，而是整批入口頁的抓取效率。所以這份文件值得單獨看待，而不是套用模板随手一放。

需要明确的是，robots.txt 只是一個约定，不是强制机制。正規搜尋引擎蜘蛛會遵守，但采集脚本和部分小爬虫未必理會。把它理解成“抓取入口的開關”更准确，而不是安全防线。

放行、限制、寫错：三種常见狀態

完全放行

如果入口頁就是希望被蜘蛛發現，最省事的寫法是只声明 sitemap，不做任何 Disallow，例如：

• User-agent: *
• Allow: /
• Sitemap: https://example.com/sitemap.xml

這種寫法没有歧义，蜘蛛能顺着入口頁繼續往下走，也有一條主動线索可循。

部分限制

常见的限制對象是後台路径、統計脚本、临时目錄、重复參數頁。例如不希望蜘蛛在篩選參數上反复打轉，可以屏蔽带參數的路径。但要注意，被 Disallow 的頁面蜘蛛不會抓取，也就讀不到頁面里的 noindex，两者不能同时指望。

寫错導致整站被挡

最典型的事故是 Disallow: / 残留。測試环境留下的這一行，上线後會让整批入口頁對蜘蛛關门，而站長往往在日誌里看到抓取量归零才回头排查。批量部署时，這一行值得單獨检查。

狀態碼返回什么，蜘蛛反應不同

• 200 正常返回：按文件中的規則执行。
• 404：视為没有限制，可以抓取全部路径。想让蜘蛛自由抓取时，404 也算一種放行信号。
• 5xx：蜘蛛一般會判断服務器临时故障，暫停一段時間再回来，短期内可能减少抓取。
• 301/302 跳轉：會跟随跳轉目标讀取規則，但跳轉鏈不宜過長。

如果入口頁是批量域名，建议逐個確認 robots.txt 的返回狀態，不要让某個域名的異常拖慢整批抓取节奏。每個子域名或獨立域名都有各自的 robots.txt，不能靠一個主域名覆盖全部。

缓存與生效延迟

蜘蛛會缓存 robots.txt，缓存時間從几小时到一天不等。改動之後不會立刻生效，也不需要反复改来改去。频繁變動反而可能让蜘蛛重新判断抓取策略。改完观察訪問日誌里的請求變化，比反复提交更實际。

robots.txt 與 noindex 的分工

不少人想用 robots.txt 让頁面不被索引，這是错位的用法。Disallow 只阻止抓取，URL 仍可能因為外鏈出現在结果里，只是缺少内容摘要。要真正控制收錄，應该允许抓取，再在頁面上用 noindex。對蜘蛛池入口頁而言，目标是被發現，所以多數情况下應该放開抓取，而不是屏蔽。

入口頁场景的實操建议

• 入口頁需要被發現，就明确 Allow，避免含糊寫法。
• 把 sitemap 地址寫進 robots.txt，给蜘蛛一條主動线索。
• 限制只针對确實無價值的路径，避免誤伤待發現的連結頁。
• 批量部署时统一检查測試規則，別让它带到线上。
• 不要指望 robots.txt 防盗鏈或防采集，它做不到。

robots.txt 的作用是告诉蜘蛛“這里可以来、那里不必来”，它决定的是抓取，不是收錄，更不是安全。動手寫之前，先想清楚入口頁的目标是什么。