蜘蛛進入入口頁时，第一眼看到的不是标题和正文，而是 HTTP 狀態碼。它像一道门槛，决定蜘蛛是繼續讀取、轉換地址，還是直接放弃。很多蜘蛛池入口頁的問题，追到根上不是内容差，而是狀態碼给错了信号。

200：預設狀態，也是软 404 的温床

正常可訪問的頁面返回 200。入口頁绝大多數时候都應该是 200。但 200 不代表頁面就有價值。如果入口頁模板高度重复、正文只有几行占位文字，或者所有頁面返回的 HTML 几乎一样，蜘蛛虽然拿到了 200，也會把這類頁面归到低质量里。更麻烦的是“软 404”：頁面實际已经不存在，服務器却仍然返回 200，並展示一個空模板或统一的“無内容”頁面。蜘蛛需要多轮抓取才能確認這是空壳，浪費的是抓取预算。

301 和 302：跳轉要用對地方

入口頁需要把蜘蛛引向目标頁时，跳轉是常见做法。301 表示永久跳轉，蜘蛛會把權重和索引逐渐轉移到新地址；302 表示临时跳轉，蜘蛛通常仍會保留原地址，並可能反复回来抓取。如果你确定入口頁只是中轉，且目标地址長期不變，優先用 301。如果只是临时活動或測試，用 302，但不要让它長期挂着。

另一個细节是跳轉鏈長度。入口頁 A 跳 B，B 再跳 C，蜘蛛每多跟一跳就多一层不确定性。最好让入口頁直接跳到最终目标，不要串三四個中間地址。

404 和 410：该消失就让它消失

頁面确實不存在时，返回 404 是诚實的做法。410 表示永久刪除，语义更明确。有些站点為了留住流量，把不存在的頁面 404 後跳轉到首頁，或者返回 200 並展示推荐内容。對蜘蛛来说，這容易形成软 404 或跳轉混乱。入口頁被刪除、合並或迁移後，如果舊地址不再使用，保持 404 比强行跳首頁更干净。如果整批入口頁要下线，也可以考虑用 410 告诉蜘蛛不必再来。

503 和 429：临时狀態的正确用法

服務器维護、過载或限流时，可以用 503 表示暂时不可用，並配合 Retry-After 头告诉蜘蛛多久後再来。429 表示請求過多，适合限流场景。這两種狀態是“临时”的，不适合長期使用。如果入口頁连續几天甚至几周返回 503，蜘蛛會降低抓取频次，嚴重时可能把頁面從抓取队列里移除。维護結束後要尽快恢复 200，並观察日誌里蜘蛛是否重新回来。

常见誤区與检查建议

• 所有頁面一律返回 200，包括空頁面和错誤頁面，形成大量软 404。
• 用 302 做永久跳轉，導致蜘蛛反复抓取舊入口頁。
• 頁面内容已经刪除，狀態碼却還是 200，或者 404 後立即跳首頁。
• 维護时返回 200 但内容顯示“網站维護中”，蜘蛛會当作正常頁面處理。
• 跳轉鏈過長，入口頁到目标頁中間隔了多次 301/302。

检查时不需要复杂工具，用 curl -I 或浏览器開發者工具看响應头就能發現大部分問题。建议定期抽检一批入口頁，记錄狀態碼變化，並结合服務器日誌观察蜘蛛對異常狀態的反應。如果發現某批頁面長期返回 503 或 404，先確認是配置問题還是頁面确實下线，再决定修复還是清理。

狀態碼是蜘蛛判断頁面可用性的基础信号。把它设對，比在内容上反复补救更省事。