做蜘蛛池的人经常會遇到一種情况：入口頁前一天還在正常被抓，第二天日誌里就只剩 404、301 或者 403，于是開始怀疑目标 URL 是不是“废了”。其實入口頁的狀態碼影响的是入口頁本身還能不能被繼續抓取，而目标 URL 能不能被繼續發現，要看連結是否還出現在一個可抓取的頁面上。這两件事需要分開来看。
先分清狀態碼作用在哪一层
搜尋蜘蛛抓取入口頁时，第一步是拿到 HTTP 响應。响應狀態碼决定了它對“這個地址現在是什么”的判断，然後再從返回的 HTML 里提取連結。狀態碼本身不會直接作用到入口頁上寫的那些目标 URL，除非入口頁不再返回可解析的正文。
常见狀態碼的實际影响
200：正常返回
只要正文里包含目标連結，且没有 robots、nofollow 之類的限制，蜘蛛就有机會繼續發現。這里说的是具备被發現的條件，並不等于一定被抓取或收錄。
301 / 302：跟随跳轉後看结果
入口頁做成跳轉时，蜘蛛一般會跟到最终地址。如果最终地址返回 200 且带目标連結，發現過程通常不受影响；如果跳到首頁、登入頁或一個没有目标連結的頁面，這條路径自然就断了。
404：短期可能重试，長期會被放弃
404 表示资源不存在。蜘蛛可能在一段時間内繼續回訪几次，但如果入口頁長期 404，抓取频率會明顯下降，最终停止訪問。此时入口頁里的目标連結也就失去了暴露渠道。
410：比 404 更明确的移除信号
410 表示永久刪除。相比 404，蜘蛛通常更快降低回訪意愿。如果入口頁是被誤配置成 410，建议尽快恢复成 200；如果确實是要下线，也就不必再指望它繼續带目标 URL。
403 / 503：多半是拦截或临时不可用
- 403：常来自防火墙、WAF、IP 封禁或 UA 拦截。蜘蛛拿不到正文，目标連結自然看不到。這類問题要查服務器侧配置，而不是改頁面内容。
- 503：通常是临时维護或负载過高，蜘蛛會短暂退让，但如果長期 503，就可能被当成不可用站点處理。
容易被忽略的“软 404”
比顯式狀態碼更麻烦的是：入口頁返回 200，但正文几乎為空，只有一句“頁面不存在”，或者只是一個 JS 空壳。蜘蛛拿到的是 200，却提不到有效連結，效果和 404 相差不大。排查时不要只看狀態碼，最好用抓取工具或纯文本模式確認正文里确實存在可点击的 a 标簽。
建议的排查顺序
- 用不带 Cookie、不带登入態的請求，模拟蜘蛛取一次入口頁。
- 確認返回碼是 200，且正文不是空壳或纯前端渲染。
- 查看源碼里的目标連結是否為 href 形式，有没有被 nofollow、JS 事件或跳轉脚本替換。
- 對照服務器日誌，看蜘蛛最後一次成功抓取入口頁是哪一天。
- 若入口頁确實要下线，改用新的 200 入口頁承接，而不是繼續留着一個 404。
入口頁的狀態碼决定“蜘蛛還能不能進门”，頁面里的連結决定“進门之後能不能看到目标 URL”。两者都成立，目标 URL 才有被發現的机會；至于是否收錄，還要看目标 URL 自身的内容质量與站点整体情况。
简單记一條：入口頁要長期保持可訪問（200）且正文可解析，這是目标 URL 被持續發現的最低前提。任何 404、410、403、503 都會先切断這條路径，在這個基础上再谈其他優化，意义並不大。