蜘蛛爬到入口頁时，第一件事並不是讀内容，而是先看服務器回了什么狀態碼。這行數字决定了它接下来是繼續抓、過段時間再来，還是干脆把這個 URL 從待抓队列里划掉。很多蜘蛛池的問题不在頁面寫得好不好，而在于服務器在開口第一句就说错了话。

狀態碼说的是“這個 URL 現在是什么情况”，而不是“我希望蜘蛛怎么想”。

常见狀態碼分別代表什么

200：正常，但要小心“软 404”

200 表示内容正常返回，這是最常见的期望值。需要注意的是另一種情况：入口頁内容已经清空、只剩一個模板壳，服務器依然回 200。蜘蛛讀完之後拿不到有效信息，久而久之會把這類頁面判定為低價值，减少回訪。空壳頁最好老老實實處理掉，而不是靠 200 硬撑。

301 與 302：跳轉要分清永久和临时

301 是永久跳轉，适合入口站換域名、目錄结构調整這類不再回头的改動；302 是临时跳轉，蜘蛛一般會保留原 URL 繼續观察。把本该 301 的改動寫成 302，蜘蛛可能長期去敲舊地址；反過来，把临时頁面寫成 301，日後改回来又要多绕一圈。另外跳轉尽量一步到位，避免 A→B→C 的鏈式跳轉，每多跳一层，就多一次被放弃的理由。

404 與 410：清理死鏈的正常手段

頁面确實不存在了，就返回 404；確認永久移除，可以用 410。两者都是明确信号，能帮助蜘蛛尽快把無效 URL 從队列里清出去。真正麻烦的是错位：该 404 却回 200，制造出软 404；该保留却回 404，會把還在用的入口頁提前判死。

403、429、503：挡與让之間的分寸

403 是明确的拒绝，蜘蛛收到後會降低對该站点的抓取意愿，除非确有必要的防護，不建议對正常蜘蛛使用。429 表示請求過于频繁，属于限流信号，蜘蛛通常會放慢速度改天再来，這是可控的退让。503 表示服務暂时不可用，适合短时维護窗口；如果長期回 503，蜘蛛會逐渐把這個站点归為不稳定，抓取频率随之下降。

狀態碼抖動，比狀態碼本身更麻烦

同一個入口頁，今天 200、明天 503、後天又 200，這種反复會让蜘蛛难以判断站点到底是什么狀態。宁可稳定地回一個不那么理想的狀態碼，也不要频繁切換。抓取频率一旦被調低，恢复速度通常比下降速度慢得多。

建议：让狀態碼说真话

• 入口頁正常就给 200，内容清空了就別硬撑；
• 永久改動用 301，临时改動用 302，跳轉鏈條尽量短；
• 确實不存在的頁面给 404 或 410，不要用 200 兜着；
• 限流用 429，短时维護用 503，並控制持續時間；
• 在日誌或监控里按狀態碼做一次統計，看看入口站是否在無意中把蜘蛛往外推。

把狀態碼当成與蜘蛛沟通的語言，而不是可以随手拨弄的開關，入口頁的抓取表現往往會稳定一些。它不保證收錄或排名，但至少能让蜘蛛每次来的时候，知道自己在面對什么。