入口頁被蜘蛛請求时有两種结果：能抓到的，和抓不到的。大多數人只關心第一種，但第二種的返回方式，往往决定了蜘蛛下次還来不来、来得多不多。

错誤响應為什么值得單獨管

蜘蛛對頁面的每一次請求都會留下记錄：狀態碼、响應時間、是否跳轉。這些记錄累积起来，就是搜尋引擎判断某個域名是否還值得繼續投入抓取预算的依據。如果入口頁大量返回 5xx，或者超时频繁，常见的策略是降低這個域名下的抓取频率，而不是加大力度。反過来，把确實不存在的頁面干净地返回 404，反而是一種清晰的信号。

几類常见错誤，建议的返法

入口頁不存在：404，而不是 200

比較常见的坏习惯是做一個“萬能頁”：任何 URL 都返回 200，内容里再寫一句“该頁不存在”。對蜘蛛来说這就是一批重复内容頁，而且會持續消耗抓取队列。已经下线且不再恢复的入口頁可以返回 410，表達永久移除；临时下线則更适合 404，或者用 503 明确表示暂时不可用。

服務端故障：5xx 要少，但要真

5xx 表示服務器自己出了問题，蜘蛛通常會在間隔一段時間後重试。如果是因為维護，返回 503 並带上 Retry-After 头，比直接断连要好。要避免的是“頁面本身正常，却因為某個内部接口超时把整頁返成 500”——這類错誤會让蜘蛛把正常的入口頁也一並标记為不稳定。

超时與连接中断

超时没有狀態碼，蜘蛛看到的就是“没拿到”。频繁超时和频繁 5xx 的效果類似，都會让抓取节奏變慢。如果入口頁只是連結聚合，服務端其實没必要做重查询；能静態化的部分尽量静態化，剩下的用缓存兜住。

403 與 429：別把蜘蛛挡在门外

403 常见于 WAF 或防火墙誤伤，蜘蛛看到後一般不會反复尝试。429 是限流，蜘蛛會主動退让，但频繁出現同样會压低抓取频率。如果日誌里某個 UA 大量吃 403，先確認是誤拦還是真恶意，再决定放行還是繼續拦。

日誌里该看哪几個字段

• 狀態碼分布：正常入口頁應集中在 200、301/302、404；5xx 占比偏高就值得排查。
• 响應時間：看平均，也看尾部（P95 以上），尾部拖長通常說明個別入口頁有問题。
• 請求路径：错誤集中在某批入口頁，還是散落全站，處理方式完全不同。
• UA 與来源 IP：用于区分不同蜘蛛的行為，也便于识別誤拦。
• 時間分布：抓取集中在某個时段，能反映回訪节奏，可以據此安排维護窗口。

几個容易踩的坑

• 用 302 把所有错誤都跳回首頁，蜘蛛會把首頁当成重复内容反复抓取。
• 入口頁已经挂了，却還留在 sitemap 或提交列表里，蜘蛛每次来都撞一次错誤。
• 為了“看起来正常”把 5xx 改成 200，問题被藏起来，抓取质量反而下降。
• 只盯蜘蛛總量，不看错誤率，誤以為抓取量没掉就没事。

错誤响應本身不是問题，問题是被反复請求的错誤响應長期没人處理。

可以固定下来的观察节奏

比較省事的做法是每周固定看一次日誌：先看 5xx 和超时的占比，再看是否有個別入口頁反复报错，最後對照入口頁清單，確認没有“已下线但仍被提交”的 URL。發現異常先小范围修，別一次性大改，改動本身也會影响蜘蛛的判断。

入口頁出错不可怕，可怕的是错誤被預設成常態。把返回碼返對、把日誌看细，蜘蛛的抓取行為會稳定很多。