搭蜘蛛池时，很多人把注意力放在入口頁的連結结构、更新频率上，却忽略了一個更底层的東西：入口頁返回的狀態碼。對蜘蛛来说，狀態碼是它對一個 URL 的第一判断依據——比頁面内容更早、更直接。给错狀態碼，後面做再多優化也可能被一句话否掉。
狀態碼决定蜘蛛要不要繼續
蜘蛛請求一個 URL，先拿到响應头，再决定是否下载和處理正文。如果响應头里寫着 404、403、503，很多时候正文根本不會被解析。反過来说，一個内容很薄的入口頁，只要返回 200，蜘蛛仍會抓下来、判断质量；但一個内容正常的頁面如果被错誤地返回 404，就等于主動告诉蜘蛛“這里什么都没有”。
几類狀態碼在蜘蛛眼里的区別
200：正常，但要看内容
200 是标配，不代表没問题。常见状况是返回 200 但正文為空、只有几十個字的模板，或者全是 JS 渲染後才有内容，蜘蛛會認為這是一個低價值頁面。還有一類是“软 404”：内容不存在，却仍然返回 200，反而让蜘蛛反复回訪一個没内容的地址，浪費抓取预算。
301 與 302：能不能被跟随
301 表示永久跳轉，抓取路径通常會轉移到目标地址；302 是临时的，蜘蛛可能反复回来確認。入口頁做跳轉时要注意，跳轉鏈不要叠太多层，也不要 301 跳到 302 再跳到 200，鏈條越長，蜘蛛跟到目标頁的概率越低。
404 與 410：两種“没有”的差別
404 是“找不到”，410 是“已刪除且不會再回来”。對已经確認下线的入口頁，410 的態度更明确，蜘蛛停止回訪的速度通常更快。但两者都不要滥用：入口頁只要還在服務，就不要為了省事直接返回 404，否則整個频道會被逐步清空。
403、429 與 5xx：容易被誤讀的信号
403 是拒绝訪問，蜘蛛一般不會反复尝试；429 是請求過多，属于限速提示，處理得当蜘蛛會降速而不是离開；500、502、503 是服務端問题，短期還能被容忍，長時間持續會让蜘蛛降低訪問频率。503 配合 Retry-After 是维護期間比較規范的做法。
错誤頁的三種處理思路
- 真實错誤就如實返回。頁面确實不存在，用 404；内容永久刪除，用 410。不要為了留住蜘蛛而把错誤頁返回 200。
- 临时故障用 503 加 Retry-After。資料库维護、後端升級這類短期不可用，寫清楚恢复時間，比硬撑返回半截頁面更稳妥。
- 自定义错誤頁要有出路。蜘蛛和用戶看到错誤頁时，應该能顺着連結回到有效入口，而不是掉進一個死胡同。
常见的几個坑
- 把 404 頁面统一 301 到首頁，形成大量“首頁副本”，反而稀释入口頁的作用。
- 入口頁被 CDN 或 WAF 拦截，所有請求都返回 403，日誌里還看不出問题。
- 後端超时被统一包装成 200，頁面上寫着“加载失敗”，蜘蛛看到的却是一個正常頁面。
- 限速策略過于激進，入口頁大面积返回 429，蜘蛛會整体降低對该域名的訪問节奏。
狀態碼是抓取鏈路的底层開關。入口頁和内容頁可以有不同的策略，但同一類頁面最好保持一致，否則蜘蛛很难建立稳定的抓取模型。
怎么观测與調整
從訪問日誌里按狀態碼分组統計，重点看三類比例：2xx 是否占绝大多數、4xx 里有多少是入口頁自身的、5xx 是否集中在某個時間段。如果 4xx 持續升高，先確認是入口頁被誤删還是配置寫错；如果 5xx 集中在高峰期，說明後端承载不够，先把服務稳定下来，再谈抓取量。調整时一次只改一類頁面的策略，观察一到两周日誌變化，再做下一步。