做蜘蛛池或入口頁引流时，很多人只關心連結怎么寫、放几條，却忽略了一個更前置的問题：搜尋蜘蛛能不能顺利拿到這個入口頁的 HTML。如果 HTTP 狀態碼是 404、500 這類異常，頁面内容能不能被解析、里面的目标連結會不會被跟進，就要分情况看了。
狀態碼决定了蜘蛛能拿到什么
搜尋蜘蛛訪問一個 URL 时，第一件事是看响應狀態碼，然後才是解析 HTML。大致可以這样理解：
- 200：正常返回，蜘蛛會解析正文並提取連結，這是入口頁该有的狀態。
- 3xx：跳轉，蜘蛛會跟随到最终 URL，但跳轉鏈不宜過長。
- 4xx / 5xx：通常意味着這次抓取没有拿到有效内容，連結發現自然無從谈起。
几種常见異常狀態碼的實际表現
404 Not Found
404 表示頁面不存在。搜尋蜘蛛一般不會把這類 URL 当作正常頁面處理，也不會稳定地跟進里面的連結。就算服務器返回的 404 頁面里带着導航和一堆連結，也不要指望它被当作入口頁使用——被索引和被跟進的机會都很低。把入口頁做成 404，基本等于白做。
500、502、504 等服務端错誤
這些狀態碼說明服務器這次没能正常响應。搜尋蜘蛛會認為抓取失敗，可能過一段時間重试；如果持續失敗，抓取频率會被下調，甚至暂时减少對该目錄或站点的抓取。在恢复之前，頁面里的目标連結不會被稳定發現。
503 Service Unavailable
503 的语义是“临时不可用”。如果站点在做维護，比較規范的做法是返回 503 並带上 Retry-After 头，告诉蜘蛛多久後再来。這比返回 200 空白頁或者直接 500 更清晰。但要注意：長期挂着 503，同样會被当成故障站点處理。
403 Forbidden 與驗證拦截
CDN、WAF 或防盗鏈規則有时會让蜘蛛拿到 403、406，甚至一個驗證頁面。這时服務器压根没把入口頁的 HTML 给出去，蜘蛛看不到任何目标連結。如果日誌里明明有蜘蛛訪問，但目标頁始终没有被抓，可以先查是不是這一环被拦了。
软 404：错誤頁却返回 200
還有一種相反的情况：頁面内容其實是错誤提示，比如“頁面不存在”“内容已刪除”，但服務器返回的是 200。蜘蛛會把這類頁面当正常頁面解析，里面的連結有可能被跟進，但這種頁面本身内容薄弱、重复度高，既不适合当入口頁，也不利于整体抓取质量的评估。與其用這種方式“骗”抓取，不如老老實實做一個内容正常的入口頁。
實操上怎么排查和規避
- 先用 curl -I 或浏览器開發者工具確認入口頁返回的是 200，而不是被重定向或拦截。
- 對照蜘蛛訪問日誌，看蜘蛛拿到的狀態碼是否和真實用戶一致，重点排查 WAF、CDN 的差异化返回。
- 入口頁發布前做一次抓取模拟，確認 HTML 里能直接看到目标連結，而不是靠 JS 执行後才出現。
- 站点维護时用 503 + Retry-After，不要用 404 或 500 長期占位。
- 如果入口頁不在現有的站点监控范围内，至少要给它加上狀態碼监控，異常时及时處理。
連結能不能被發現，前提是頁面能被正常抓取。狀態碼異常时，讨论連結怎么寫、放几條，意义都不大。
總结一句：搜尋蜘蛛發現目标連結的第一步，是成功抓取入口頁並解析 HTML。404、500、403 這類狀態碼會让這一步直接中断，503 可以短期使用但不适合長期挂着。先用狀態碼把“可抓取”這一關守住，再谈連結结构、數量和其它優化，顺序才不會乱。