蜘蛛在抓取每一個 URL 时，服務器都會返回一個狀態碼。這個碼不只是给浏览器看的，它决定了蜘蛛下一步是繼續沿着連結走，還是把目前路径标记為失效。很多站点在調整内鏈和 Sitemap 时，容易忽略狀態碼在抓取路径里的實际作用。
301 與 302：路径更新還是临时绕行
301 表示永久跳轉。蜘蛛收到 301 後，通常會在一段時間内把原 URL 替換成新 URL，後續抓取和索引都會指向新地址。對内鏈来说，如果多個頁面還在鏈向舊地址，蜘蛛會反复经過 301，虽然最终會到達新頁面，但路径變長，抓取效率會受影响。
302 表示临时跳轉。蜘蛛一般會繼續保留原 URL 的抓取，因為服務器说目标只是暂时變動。如果站点把 302 当成永久迁移来用，可能會發現舊 URL 不断被訪問，新 URL 的發現却不稳定。永久迁移用 301，临时活動或 A/B 測試用 302，這個区分要清楚。
另外，跳轉鏈尽量控制在一跳以内。A 跳 B、B 跳 C、C 才是目标頁，蜘蛛每多走一步就多一次請求，路径越深，後續連結越容易被漏掉。
404 與 410：連結断掉之後
404 表示頁面不存在。蜘蛛遇到 404 後，通常不會繼續沿着這個 URL 往下走，因為頁面没有内容可供解析。如果這個 URL 曾经有排名，蜘蛛會在一段時間後把它從索引里移除。
410 表示頁面已永久刪除。相比 404，410 的信号更明确，蜘蛛可以更快地確認這個地址不再需要抓取。對于确實下线的頁面，返回 410 比一直返回 404 更干净。但要注意，如果頁面還有流量或外鏈價值，直接 410 可能损失已有信号，更稳妥的做法是 301 到相關的新頁面。
软 404 是另一種情况：頁面返回 200，但内容顯示“無结果”或“已刪除”。蜘蛛會把它当正常頁面抓取，可能持續占用抓取资源。空列表頁、無商品的结果頁，最好返回 404 或做 noindex，而不是用 200 硬撑。
5xx 與服務器稳定性：抓取路径的中断
5xx 表示服務器端错誤。蜘蛛遇到 5xx 时，一般會稍後重试，但如果一個站点在抓取时段频繁返回 5xx，蜘蛛會認為站点不稳定，主動降低抓取频次，甚至暂时放缓整條抓取路径。路径中断的次數越多，恢复就越慢。
服務器稳定性直接影响抓取路径的连續性。資料库超时、缓存击穿、並發過高，都會让蜘蛛在某個环节反复失敗。建议在日誌里關注 5xx 出現的 URL 和时段，而不是只看平均值。
在抓取路径中排查狀態碼問题
- 看服務器日誌：篩選蜘蛛 UA，統計 301、302、404、410、5xx 的分布，找到频繁返回異常狀態的内鏈。
- 检查内鏈结构：如果重要頁面被多條内鏈指向舊地址，蜘蛛會不断经過跳轉，路径被拉長。
- 核對 Sitemap：Sitemap 里只放最终可訪問的 200 頁面，不要放 301 或 404 地址，否則會浪費抓取配額。
- 處理软 404：對空结果頁、已下架内容頁做狀態碼或 noindex 處理，避免蜘蛛反复抓取無價值頁面。
- 观察恢复节奏：修复 5xx 後，抓取频次不會立刻回到原水平，通常需要几天到几周逐步恢复。
狀態碼是抓取路径上的路标。路标清晰，蜘蛛才知道下一步该往哪走；路标混乱，蜘蛛就會绕路、停步，甚至放弃。
把狀態碼和内鏈、Sitemap、服務器监控放在一起看，才能判断蜘蛛的抓取路径是否顺畅。定期從日誌里抽一段蜘蛛訪問记錄，對照狀態碼和連結来源，往往比單獨優化某一個頁面更有用。