入口頁能被正常抓取，日誌里也有搜尋蜘蛛的訪問记錄，但目标 URL 的狀態碼一直不對劲，這種情况比“搜尋蜘蛛根本没来”更难排查。它不属于發現环节的問题，而是抓取环节被服務端挡了回来。理解搜尋蜘蛛對不同狀態碼的處理方式，能帮你判断問题出在入口頁、目标站，還是中間的網絡层。

搜尋蜘蛛遇到不同狀態碼时的基本反應

2xx：抓取成功

正常返回内容後，搜尋蜘蛛會進入解析、去重和索引判断流程。抓取成功只是第一步，和最终是否收錄没有直接關系。

3xx：跟随跳轉

一般會繼續跟随，最终落到一個具体地址上。跳轉鏈太長，或者第一跳就指向 5xx，效果會打折扣。

4xx：判定资源問题

404 和 410 表示资源不存在，搜尋蜘蛛會逐步把该 URL 從待抓取队列和索引中剔除。入口頁如果長期挂着這類連結，相当于持續浪費抓取机會。403 通常被理解為拒绝訪問，可能来自權限設定或防火墙拦截，後果和 404 不同，但同样會中断抓取。

429：請求過多

這是限速信号，搜尋蜘蛛一般會退避，降低對该站的抓取频率。它是提醒你放慢节奏，不等于封禁。

5xx：暂时性服務端错誤

5xx 属于服務端错誤。搜尋蜘蛛通常認為這是临时状况，不會立刻放弃该 URL，而是安排重试，同时下調抓取频率。但如果同一批 URL 反复返回 5xx，抓取节奏會明顯變慢，恢复也需要時間。

目标 URL 為什么會返回 5xx

• 源站响應慢或超时，請求在網關层就被切断
• 資料库、缓存或後端接口偶發故障
• CDN、WAF 把搜尋蜘蛛的 UA 或 IP 段判定為異常流量而拦截
• 抓取請求集中在极短時間内，瞬时並發压垮小型服務器
• 站点處于维護、迁移狀態，或證书配置出错

5xx 带来的连鎖反應

• 單次抓取失敗不會立刻影响索引，但重试有時間成本
• 抓取频率被下調後，入口頁和站内其他 URL 的發現速度都會跟着變慢
• 長期大量 5xx，可能让搜尋蜘蛛對该域名的整体信任度下降，抓取预算被压缩
• 入口頁持續輸出同一批 5xx 連結，等于把有限的抓取机會消耗在無效請求上

建议的排查顺序

1. 用接近搜尋蜘蛛的 UA 和来源复現請求，记錄目标 URL 的返回碼與响應時間
2. 查目标站服務器訪問日誌，確認是否有搜尋蜘蛛請求，以及返回了什么狀態碼
3. 检查 WAF、防火墙、CDN 的拦截日誌，看是否命中規則
4. 核對入口頁上那批連結是否已失效或路径變更
5. 對比不同時間段，確認是持續 5xx 還是集中在某個時間点
6. 修复後持續观察，不要期待抓取频率立刻回到原水平

入口頁侧可以做的調整

• 及时清理返回 404、410 的舊連結，別让它們長期占位
• 把容易超时的目标 URL 分批放，避免請求集中
• 入口頁自身保持稳定、快速响應，不要成為新的瓶颈
• 不要在同一入口頁反复堆同一批目标 URL，制造無意义的重复請求

狀態碼問题本质上是服務端的可用性問题。入口頁能做的只是减少無效請求、辅助排查，解决不了目标站自身的稳定性。

小结

目标 URL 频繁返回 5xx 或 404 时，先別急着增加入口頁數量。把狀態碼、响應時間、拦截日誌這三條线對齐，判断是暂时性故障還是持續不可用，再决定是繼續投放還是暂时搁置這批連結。