入口頁返回什么狀態碼，看似是服務器层面的小事，實际上决定了蜘蛛對這批 URL 的第一判断。蜘蛛池负责让 URL 被發現，如果狀態碼给错，很多發現動作會停在第一步。
狀態碼在蜘蛛池里解决什么問题
蜘蛛抓取一個 URL 时，最先處理的是响應狀態。它不看内容质量，先看這個地址是否可達、是否需要跳轉、是否已经不存在。狀態碼决定了蜘蛛下一步：是抓正文、跟跳轉，還是從待抓队列里移除。
入口頁數量通常不小，一旦狀態碼策略不统一，會出現同一批頁面有的被抓、有的被跳過，排查起来很难定位。所以先定規則，再批量执行，比逐個頁面調優更有效。
200：入口頁的預設狀態
正常可抓取的入口頁返回 200，這是最省事也最常见的做法。需要注意两点：
- 狀態碼與内容要一致。返回 200 的頁面應当有實际内容，哪怕只是简短說明、聚合列表或導航。
- 避免空壳 200。頁面能打開但几乎没内容，搜尋引擎會按软 404 處理，效果接近 404，甚至更差。
301 與 302：跳轉怎么用
入口頁需要換地址时，用 301 表示永久迁移，蜘蛛會把记錄逐步轉移到新地址。入口頁整合、批量替換舊域名时，這是比較稳妥的做法。
302 是临时跳轉，适合短期切換，比如入口頁临时维護、A/B 阶段。但如果入口頁長期 302 到目标站，問题就比較明顯：
- 蜘蛛每抓一次都在處理跳轉，入口頁自身很难形成稳定记錄；
- 跳轉鏈越長，抓取预算消耗越多，最终可能停在中間某一步；
- 目标站被大量重复的跳轉指向，反而容易触發去重判断。
把入口頁做成纯跳板，本质上放弃了入口頁本身的作用，只在 URL 發現层面留有少量價值。
404 與 410：下线时怎么選
两者都表示頁面不可用，区別在于确定性。404 是暂时找不到，410 是明确已刪除。對蜘蛛来说，410 的移除信号更干脆，處理速度通常也更快。
下线入口頁时，建议：
- 頁面彻底不用了，返回 410；
- 只是暂时故障、之後會恢复，返回 404 或 503，別直接 410；
- 不要用 200 空頁糊過去，這種做法既誤導蜘蛛，也浪費自己的巡检時間。
503 與维護窗口
服務器维護、後端異常導致的短期不可用，用 503 配合 Retry-After 更合适。它告诉蜘蛛稍後再来，而不是這個頁面没了。把可恢复的故障寫成 404，等于是主動放弃了已有的入口頁记錄。
狀態碼要和其他信号對齐
狀態碼不是孤立信号。入口頁返回 301 时，sitemap 里就不该再列出舊地址；入口頁返回 410 时，内鏈和站点導航要同步清理，否則蜘蛛反复通過内鏈回来撞 410，浪費抓取次數。
常见的不一致组合包括：狀態碼 200 但 robots 里 noindex；301 跳轉後 canonical 仍指向舊地址；410 頁面還留在 sitemap 中。這些都會让蜘蛛的判断變模糊。
判断标准很简單：你希望蜘蛛對這個 URL 做什么，就让狀態碼、canonical、robots、sitemap 指向同一個结论。
排查顺序
- 用 curl 或浏览器開發者工具看首字节的狀態碼，不要只看頁面是否打得開；
- 確認是否存在跳轉鏈，逐跳记錄狀態碼和最终地址；
- 對比 sitemap、内鏈、canonical 與目前狀態是否一致；
- 查看服務器日誌里蜘蛛命中的狀態碼分布，找異常集中的那批入口頁；
- 批量修正後观察一段時間，別频繁改動同一批入口頁。
狀態碼是最基础的信号，也是最容易被忽略的环节。把規則定清楚、批量执行，剩下的交给時間和日誌驗證。