很多人判断蜘蛛池有没有起作用，标准只有一句：日誌里看到蜘蛛了。但入口頁被訪問，和目标URL被抓取，是两件獨立的事。搜尋蜘蛛可能抓了入口頁的样式表、图片，甚至只是重复抓取舊的入口頁，却始终没有發出對目标URL的請求。想让排查有结论，需要把入口頁和目标URL两邊的日誌對上。
先分清“来過”的几種情况
- 抓的是静態资源：图片、CSS、JS 的請求很多，主文档請求很少，說明頁面结构偏重或依赖前端渲染。
- 抓的是同一個入口頁：同一地址反复出現，但没有任何出站連結的後續請求。
- 抓的是舊連結：入口頁已经改版，蜘蛛仍在抓几個月前的路径，說明缓存或索引還未更新。
這三種情况在統計里都表現為“有蜘蛛訪問”，但對目标URL的發現並没有帮助。
用日誌把入口頁和目标URL對齐
- 選一個時間窗口：以入口頁出現蜘蛛請求的時間点起算，向後看 1 到 15 分钟，多數跟進請求落在這個范围内；跨天、跨小时的對齐參考價值很低。
- 看 Referer 字段：如果目标URL的請求里带着入口頁地址，基本可以確認是同一條跳轉鏈路；Referer 為空时，可能是 sitemap、主動推送或外部連結带来的，不能直接算入口頁的功劳。
- 看目标URL的狀態碼和响應体：返回 200 但体积異常小，常见于驗證頁、空模板、前端未渲染的骨架頁；返回 403、429、503 时，蜘蛛即使来了也很难繼續處理。
断点通常出在哪几處
- 入口頁把連結寫在 JS 渲染後才出現的位置，主文档里没有可抓取的 href。
- 出站連結经過 302 跳轉，中間多了一跳，在抓取配額有限时容易被放弃。
- 入口頁的連結都指向目标URL的同一路径，但该路径带參數或做了 UA 判断，返回结果與预期不同。
- 目标URL所在服務器的安全策略拦掉了非浏览器請求，只留下驗證頁或空白响應。
容易誤判的几種日誌現象
日誌里没有，不等于蜘蛛没来；日誌里有，也不等于鏈路已经走通。
- 站点走了 CDN 或反向代理，缓存命中不回源，源站日誌自然看不到對應记錄。
- 日誌按小时切分、按天归档，短時間窗口的資料被切到两個文件里，只看一個文件會漏掉。
- 多個站点共用一個 IP，日誌混在一起，UA 相同但来源不同，容易張冠李戴。
- 抓取频率本身不高时，一次抽样失敗就可能让你誤判成完全不抓。
對齐之後，先動哪一环
如果確認入口頁有抓取、目标URL没有請求，優先做的是降低這條鏈路的阻力，而不是繼續增加入口頁數量：把出站連結寫成静態 HTML，减少跳轉层級，检查目标URL對常见 UA 是否正常返回，必要时用 sitemap 與主動推送作為並行路径做對照。如果目标URL已经有請求但狀態異常，問题多半在目标站点本身，繼續铺入口頁不會改變结果。
把日誌当成驗證工具，而不是效果證明。每次調整只改一個變量，观察一個抓取周期内的請求路径變化，比反复猜测入口頁是否有效要可靠得多。