很多人用蜘蛛池投放一批目标 URL 後，去日誌里查，發現入口頁有搜尋蜘蛛訪問记錄，但目标頁迟迟没有動静，就以為蜘蛛池没用。其實發現和抓取是两件事：蜘蛛到了入口頁，不代表它一定會顺着連結進入目标頁。中間可能卡在連結、頁面狀態、抓取配額或入口頁质量上。
先確認蜘蛛是否真的到了入口頁
排查第一步不是看目标頁，而是看入口頁的服務器日誌。篩選搜尋引擎的 UA 和 IP 段，確認入口頁是否返回 200，是否有抓取记錄。如果入口頁本身就没被抓，問题出在入口頁的發現和可訪問性上，跟目标頁關系不大。
如果入口頁有抓取记錄，但日誌里找不到目标 URL，說明蜘蛛至少来過，但可能没有跟進連結，或者跟進後立刻放弃了。這时候要往下查。
常见的几類卡点
連結本身不可達
入口頁上的連結寫错、协议不對、重定向鏈太長、目标頁响應超时，都會让蜘蛛跟到一半就停下。可以直接在浏览器無痕模式下打開入口頁，看目标連結是否能正常跳轉，返回碼是不是 200。
- 連結指向的域名解析失敗或證书错誤；
- 目标頁返回 5xx 或長時間無响應；
- 連結经過多次 301/302 跳轉，最後落到無關頁面；
- 目标頁需要登入、驗證碼或被 WAF 拦截。
連結被标记為不跟進
入口頁源碼里如果给連結加了 nofollow，或者頁面头部有 robots meta 限制，蜘蛛可能不會繼續跟過去。有些 CMS 或插件會自動给外鏈加 nofollow，投放前最好检查一下入口頁的實际輸出。
目标頁返回狀態異常
目标頁返回 404、软 404、403、429、503，都會影响蜘蛛的跟進意愿。403 和 429 通常意味着被拒绝或限流；503 表示服務暂时不可用。蜘蛛遇到這些狀態，可能會降低抓取频次，甚至暂时不再訪問该域名下的頁面。
抓取配額和频次限制
搜尋引擎對每個站点的抓取量有大致预算，會優先抓取它認為重要的頁面。新 URL 或深层頁面可能排在後面。如果站点本身抓取频次很低，即便入口頁被抓，目标頁也可能要等很久才轮得到。
入口頁质量偏低
入口頁如果内容很少、大量重复、連結堆砌，或者只是纯列表没有上下文，蜘蛛来几次之後可能就不太愿意繼續跟進。入口頁不需要多复杂，但至少要能正常渲染，連結不要過于集中和重复。
一個實用的排查顺序
- 看日誌：搜尋蜘蛛是否抓了入口頁，返回碼是什么；
- 查連結：入口頁上的目标連結是否可達，狀態碼和响應時間是否正常；
- 看源碼：入口頁是否有 nofollow、robots meta，連結是否由 JS 動態生成；
- 查目标頁：robots.txt 是否禁止抓取，是否有登入墙、驗證碼或地域限制；
- 看返回碼：目标頁是否存在软 404、403、429、503 等問题；
- 看整体抓取：站点近期抓取频次是否下降，是否被限流；
- 對比 sitemap 和内鏈：蜘蛛是否從其他路径抓到了目标頁，如果其他路径能抓，問题可能只在入口頁。
要不要繼續投放
如果入口頁没被抓，先換入口頁或調整入口頁结构；如果入口頁被抓但目标頁不抓，優先修目标頁的可訪問性和内容质量；如果目标頁已经被抓但没收錄，那是收錄判断的問题，繼續投放未必能改變结果，應该先看頁面本身是否值得收錄。
蜘蛛池解决的是“發現”环节，不负责保證“抓取”和“收錄”。先保證連結可達、頁面可抓，再考虑投放量。
投放後观察日誌是最直接的反馈。按上面的顺序一項項排查，比盲目增加投放量更有用。如果入口頁和目标頁都没有明顯問题，再考虑分批投放、調整入口頁類型或补充内鏈。