蜘蛛池解决的是“让蜘蛛發現 URL”這一步，真正能不能變成一次有效抓取，很大程度取决于目标頁這一侧接不接得住。入口頁做得再顺，如果目标頁响應慢、狀態碼乱、連結不稳定，蜘蛛来過一次之後往往就不再给机會。這篇聊的是承接侧的問题怎么排查。
一、先把两段鏈路分開看
整條鏈路可以拆成两段：入口頁负责“被發現”，目标頁负责“被讀到”。不少人的监控只盯着入口頁的訪問日誌，看到蜘蛛来了就認為任務完成，忽略了蜘蛛顺着連結進入目标頁之後到底拿到了什么。
這两段的健康指标也不一样。入口段看的是抓取频次、狀態碼分布、响應耗时；目标段看的是抓取深度、目标頁的响應耗时、有没有大量重定向和错誤頁。混在一起看，很容易把承接侧的問题誤判成入口侧的問题。
二、承接不住时的几種常见表現
- 抓取深度上不去。入口頁天天有蜘蛛，但目标頁的訪問记錄寥寥無几，或者只停留在第一层，說明蜘蛛拿到的連結或者進入目标頁後的体驗出了問题。
- 目标頁响應時間明顯高于入口頁。入口頁是静態小文件，目标頁要查库、要渲染、要調接口，耗时差出好几倍，蜘蛛的並發预算很快就被耗完。
- 狀態碼分布異常。目标頁出現大量 5xx、長時間 302 到首頁、或者软 404（返回 200 但内容是空頁），都會让蜘蛛降低對這批 URL 的信任。
- 跳轉鏈路過長。入口頁跳到中間頁，中間頁再跳到目标頁，中間任何一环慢或断，蜘蛛都可能在半路停下。
- URL 不稳定。同一篇内容每次生成的參數、大小寫、末尾斜杠都不一样，蜘蛛反复抓到的其實是“新 URL”，重复消耗预算。
三、排查顺序：從日誌對照開始
不要一上来就改配置，先把两段日誌放在一起對照。
- 取一段固定時間窗（比如 24 小时）的入口頁日誌和目标頁日誌，按蜘蛛 UA 和 IP 段過滤，確認两邊记錄的是同一批爬虫。
- 統計目标頁的响應耗时分布，看 P90、P99 落在什么区間。均值好看不代表没問题，尾部拖長才是蜘蛛放弃的直接原因。
- 統計目标頁的狀態碼分布，把 5xx、3xx 和内容為空的 200 單獨拎出来看比例。
- 抽查几條真實抓取记錄，看蜘蛛從入口頁到目标頁之間经過了几跳，每一跳的耗时分別是多少。
- 對比同一批 URL 在不同时段的抓取结果，区分是持續性問题還是某個時間点的资源争抢。
四、可以顺手做的几項調整
- 给入口頁和目标頁分開限速。入口頁放得快一点没關系，目标頁並發要压住，避免蜘蛛把资源全占满，也避免自己服務器被打出 5xx。
- 缩短跳轉鏈路。能一跳到的不要两跳，能不经過 JS 跳轉的就用服務端跳轉，减少蜘蛛在中途放弃的概率。
- 统一 URL 形態。大小寫、末尾斜杠、跟踪參數在入口頁生成連結时就定死，不要留给蜘蛛去试。
- 把最想被讀到的頁面放在第一层。蜘蛛的抓取预算是有限的，重要的目标頁不要藏在第三、第四层。
- 给目标頁做缓存。蜘蛛訪問的多是不带登入態的匿名請求，這類請求最适合走缓存，响應時間往往能降一個量級。
- 错峰開放。如果目标站白天有真實用戶高峰，可以观察一段時間後，把入口頁的連結产出节奏往低谷时段挪一挪。
五、哪些情况其實與承接無關
排查时也要留個心眼：有些現象看着像承接問题，根因却在別處。
- 目标頁本身没有可索引的内容，或者内容與入口頁描述完全無關，蜘蛛不深入属于正常判断。
- 目标頁被 robots 規則、meta 标簽或登入墙挡住，這不是性能問题，是策略問题。
- 目标站整站權重和抓取配額本身很低，蜘蛛给到這一批 URL 的額度本来就少，改承接侧帮助有限。
把蜘蛛引来只是第一步，能不能被顺利讀完，取决于目标頁那一刻的狀態。與其反复調整入口頁，不如定期對照两段日誌，確認蜘蛛每次進来都能拿到稳定、快速、不绕路的响應。
最後提醒一句：抓取顺利不等于會被收錄，更不等于有排名。承接侧優化能改善的是“蜘蛛愿不愿意来、来多少次、讀到多深”，剩下的事情仍然取决于内容本身和站点的整体质量。