入口頁的任務是把爬虫引到目标頁，但在爬虫决定要不要繼續往下走之前，它最先讀到的是服務器返回的 HTTP 狀態碼。狀態碼给错了，锚文本、正文、内鏈做得再细也很难被正常處理。下面按蜘蛛池的常见场景，把 200、3xx、404、410、429、503 過一遍。
爬虫拿到狀態碼後大致會做什么
不同爬虫的實現细节有差异，但基本逻辑比較一致：
- 2xx：認為頁面正常，繼續解析 HTML、抽取連結和正文，纳入後續調度。
- 3xx：跟随跳轉，但跳轉层級過深或形成循环时會中断；長期用跳轉也可能让目标地址的權重传递打折扣。
- 4xx：视為頁面不存在或無權限訪問，通常會降低對這條路径的抓取频率，多次重复後逐步放弃。
- 5xx：视為服務器端临时故障，一般會安排稍後重试；短時間大面积 5xx，會影响爬虫對整個站点的抓取节奏。
入口頁應该在什么情况下给 200
只要這個入口頁是你希望被訪問、被解析、被繼續跟進的，就應该稳定返回 200，並且返回的是真正含連結的 HTML，而不是一條空壳。常见的坑是頁面虽然返回 200，但正文只有一句加载中，連結靠脚本异步插入，爬虫拿到的几乎是空頁面。這種情况下狀態碼没問题，内容层出了問题，效果和返回 404 差別不大。
404 與 410 的区別，別混着用
404 表示找不到，410 表示曾经存在但已永久移除。對爬虫来说，410 的信号更明确，頁面從索引中移除通常更快一些，但它同时意味着這條路彻底作废，不會再被反复訪問试探。蜘蛛池里的入口頁大多是临时资源，下线後返回 404 更稳妥；只有当某個入口頁确實要永久作废、且你希望它尽快從抓取队列里消失时，才考虑 410。不要為了省事，让整批入口頁统一返回 410，那等于主動告诉爬虫這批域名没什么可看的。
503 和 429 的正确姿势
503 表示服務暂时不可用，可以搭配 Retry-After 头告诉爬虫多久之後再来；429 表示請求過频。這两個碼在蜘蛛池里的典型用途是服務器临时维護，或者抓取压力過大需要缓一缓。需要提醒的是，有人把 503 当成养頁面的手段，让入口頁長期返回 503，這種做法並不划算：爬虫會把它当成不稳定的信号，重试几次仍無果後同样會降低訪問频率，甚至影响同域名下其他正常頁面。临时用可以，長期挂就是自损。
常见的狀態碼誤用
- 入口頁返回 404 却指望目标頁繼續被跟進，連結根本不會被解析。
- 所有請求一律返回 200，包括错誤路径，短期看着干净，實际會让大量無效 URL 進入抓取队列，稀释抓取预算。
- 把 302 当成永久跳轉長期使用，跳轉鏈一层套一层。
- 服務器超时後返回 200 空頁面，爬虫既拿不到内容也拿不到错誤信号。
- 用 403 屏蔽某些爬虫，结果誤伤了正常抓取。
實操建议
- 入口頁與目标頁分层管理：入口頁给 200，失效後统一走 404，不做花式狀態碼。
- 跳轉尽量一层到位，能用 301 表達永久關系就不要長期挂 302。
- 需要限制频率时優先用 429 或 503 加 Retry-After，並控制在短時間窗口内。
- 批量上线前先抽查狀態碼，別等抓取異常了再回头翻日誌。
- 把狀態碼分布纳入日常巡检，和訪問日誌一起看。
怎么快速自查
最直接的办法是用 curl 批量請求入口頁，只看响應头，把返回的 HTTP 版本、狀態碼、Location、Content-Type 记下来，再和服務器訪問日誌里的狀態碼分布對照。
如果日誌里某個入口目錄大量出現 4xx 或 5xx，先查服務器配置和脚本报错，而不是急着換域名。狀態碼是入口頁最基础的一层，它對了，後面的内容、連結、更新节奏才谈得上起作用。