蜘蛛進到入口頁，最先讀到的不是正文，而是响應头里的狀態碼。它决定了蜘蛛把這條 URL 当作有效頁面、暂时跳過，還是直接從待抓队列里清掉。很多站点把精力花在模板和外鏈上，却在一個错誤的 200 或 404 上丢掉了大量抓取机會。
200 不等于“没問题”：软 404 的隐患
最常见的坑是软 404：頁面内容已经清空，或者顯示“该頁面不存在”，但服務器仍然返回 200。蜘蛛收到的信号是“這里有内容”，于是照常抓取、照常占用抓取预算，甚至把空頁收進索引。
入口頁批量铺量时，只要内容源断供或模板變量為空，就很容易出現這種狀態。检查方法不复杂：抽几個 URL，一邊看返回碼，一邊看初始 HTML 里有没有實际内容。模板為空时，宁可返回 404 或 410，也不要给一個 200 的空壳。
404 與 410：暂时不见和永久移除
404 表示资源不存在，蜘蛛通常理解為可能還會回来，于是保留一段時間的回訪；410 表示已经永久移除，蜘蛛收到後一般會更快降低回訪频率，把预算挪到別處。
入口頁下线时要分情况：如果只是轮換、還在观察期，用 404 更合适，將来想恢复也顺；如果是确定不再复用的模板頁或废弃頁面，410 更干脆。两者都不该返回 200 的“空頁”。另有一種常见處理是 302 跳到站内首頁冒充正常，這在蜘蛛眼里是重定向信号，反而容易把入口頁本身的價值稀释掉。
503 與 429：告诉蜘蛛“先別来”
503 是服務不可用，适合計划维護、临时压力過大的时段。如果同时带上 Retry-After 头，蜘蛛會按指定時間再来。相比让蜘蛛撞上连接超时或者 500，503 是一種更体面的拒绝方式。
429 表示請求過多。它在反爬策略里很常见，但在蜘蛛池场景要慎用：如果對搜尋引擎蜘蛛也返回 429，蜘蛛會主動降低抓取频率，恢复期里新入口頁的發現速度會明顯變慢。按 UA 做区分限流是可行的，前提是別誤伤真正的蜘蛛。
403 與 5xx：最容易伤到自己
403 是被拒绝。WAF 預設規則、CDN 的防護策略、防盗鏈設定，都可能在蜘蛛来訪时返回 403。入口頁被 403 的次數多了，蜘蛛會逐步判定這個站点不值得频繁抓取，之後再想恢复就需要時間。
5xx 里，500 是程序错誤，502 和 504 多来自網關或上游超时。它們都属于“服務器有問题”的信号。偶尔出現影响不大，但如果入口頁有一半請求都是 5xx，抓取频率下滑几乎是必然的。
實操上的几條建议
- 让内容與狀態保持一致：有内容返回 200，没内容返回 404 或 410，不要用空頁占位。
- 批量铺頁前先用脚本抽查返回碼分布，統計 200 里有多少其實是软 404。
- 维護时優先用 503 加 Retry-After，別直接關机让蜘蛛碰到连接超时。
- WAF 與 CDN 規則對已知搜尋引擎 UA 做放行或降級校驗，减少誤判為 403。
- 頁面下线用 404 還是 410，取决于是否還會复用，不要一律 301 跳首頁。
- 把返回碼分布和服務器日誌放在一起看，才能判断入口頁是否真的被正常處理。
狀態碼是蜘蛛理解站点的第一层语义，它比模板做得多精细更早生效。入口頁數量铺得再多，如果返回碼本身在传递错誤信号，後面的優化都很难补回来。