很多做蜘蛛池的人會遇到這样的情况：入口頁在浏览器里打開正常，連結也能点，但日誌里搜尋蜘蛛要么来得很少，要么来了却停在入口頁，頁面里的目标 URL 始终没被抓。這时候先別急着換連結结构，很多时候問题不在連結本身，而在入口頁返回给搜尋蜘蛛的内容和你自己看到的不一样。
搜尋蜘蛛拿到的可能不是你看到的頁面
搜尋蜘蛛請求入口頁时，是没有任何 Cookie、不执行人机滑動、也通常不携带浏览器指纹的普通 HTTP 請求。如果入口頁前面挡着 WAF、CDN 的防護規則或人机驗證，蜘蛛很可能被判定為可疑流量，拿到下面几種结果中的一種。
- 直接返回 403、429 或 503，正文是拦截提示；
- 返回 200，但正文是一段 JS 挑战脚本或“正在驗證”的空壳頁面；
- 返回 200，正文是驗證碼图片或跳轉頁，真正的連結一個都不在里面；
- 被 CDN 缓存了拦截结果，连回源都省了。
這几種情况的共同点是：狀態碼看着不一定異常，但頁面里可解析的連結數量為 0。搜尋蜘蛛解析不到連結，自然就不會去跟進並發現目标 URL。
怎么確認是不是被拦截了
- 用 curl 或類似工具，带上搜尋蜘蛛的 User-Agent 直接請求入口頁，看狀態碼、响應体积和正文前几百個字符。
- 再用普通浏览器 UA 請求同一個 URL 做對比。如果两者返回的内容差別很大，說明前面存在基于 UA 或 IP 的拦截策略。
- 查看服務器與 CDN 日誌中搜尋蜘蛛的請求记錄，重点看返回碼是否集中在 403、429、503，以及响應字节數是否明顯偏小。
- 確認驗證蜘蛛身份的方式。只看 User-Agent 是不够的，UA 可以伪造；更可靠的做法是反向 DNS 解析，核對域名是否属于官方蜘蛛網段。
- 检查 robots.txt 以及可能存在的 X-Robots-Tag，排除是抓取規則本身在挡。
可以調整的方向
- 给已驗證的搜尋蜘蛛放行。在 WAF 或 CDN 上，對通過反向 DNS 校驗的官方蜘蛛 IP 段做白名單，跳過人机驗證和频率限制。
- 別让入口頁依赖 JS 挑战。需要执行脚本才能看到連結的頁面，對搜尋蜘蛛来说约等于空頁。
- 保證入口頁返回 200 且正文可解析。入口頁越轻，越不容易触發超时或被截断；連結放在正常的 HTML 结构里，而不是靠後續請求拼出来。
- 清掉缓存里的坏结果。如果 CDN 曾缓存過驗證頁，刷新缓存後再观察蜘蛛拿到的内容。
- 把發現和收錄分開看。蜘蛛發現了目标 URL，不等于它一定被收錄，這两件事的判断标准並不相同。
提醒：放行搜尋蜘蛛时，建议以反向 DNS 校驗结果為准，不要僅凭 User-Agent 就放開限制，否則等于给伪造 UA 的采集流量開了一道门。另外，任何入口頁調整都只能改善被抓取和被發現的條件，無法承诺收錄時間或排名结果。
如果你在日誌里看到蜘蛛频繁訪問入口頁，却没有一次進入目标 URL，可以先按上面的顺序確認拦截問题，再回头检查連結结构本身。多數情况下，入口頁返回给蜘蛛的内容是否完整、能否解析，比連結寫得多花哨更關键。