很多站点在日誌里能看到搜尋蜘蛛来了，却發現它抓到的 URL 數量遠低于预期。原因不一定在 Sitemap 或内鏈，而可能出在“首次到達”那一刻：蜘蛛以陌生訪客身份進入，看到的頁面和真實用戶不完全一样。同意彈窗、登入墙、地域限制都可能把關键連結挡在首屏之外。

為什么“首次到達”值得單獨核對

搜尋蜘蛛没有 Cookie、没有登入態、通常也不會点击按钮。它拿到的初始 HTML 或首屏渲染结果，决定了這一次能不能發現新的 URL。如果入口頁只给出一個“請同意 Cookie”或“登入後查看”的界面，後續内鏈就断了。

三類常见遮挡及其表現

同意彈窗與隐私横幅

不少站点的 Cookie 同意组件在首屏加载後立即覆盖頁面。若彈窗只是浮层，且底层 HTML 仍包含連結，影响相對小；若彈窗采用延迟加载，或者把頁面内容替換成只有同意按钮的界面，蜘蛛看到的就只剩一個空壳。

登入墙與付費墙

登入墙常见于社区、电商會員價、行业資料站。對搜尋蜘蛛来说，没有登入態意味着只能看到登入表單。若登入頁没有指向内容頁的連結，蜘蛛只能靠 Sitemap 或外部連結重新發現，抓取路径會變長。

地域與 UA 限制

按 IP 或 UA 返回不同内容的站点，要特別留意搜尋蜘蛛的归属地和 UA。有些 CDN 或 WAF 規則會把来自資料中心的請求当作異常流量，返回 403、驗證碼或空頁面。這會让蜘蛛的這一次訪問直接失敗，而不是抓到内容。

用搜尋蜘蛛的视角做一次核對

• 用常见搜尋蜘蛛 UA 請求入口頁，查看返回的 HTML 里是否包含目标連結，而不是只看到彈窗或登入按钮。
• 對比普通浏览器渲染後的 DOM 與原始 HTML，確認關键連結是否依赖 JS 在用戶交互後才出現。
• 在服務器日誌中篩選搜尋蜘蛛請求，查看狀態碼、响應字节數和時間。大量 403、429、超时或极小响應体都值得追查。
• 检查 CDN/WAF 的規則，確認没有對搜尋蜘蛛 IP 段做拦截或人机驗證。

站点侧的調整思路

1. 同意彈窗不要阻断底层 HTML。把連結輸出在服務端 HTML 中，彈窗僅作為视觉浮层。
2. 登入墙後面如果确實有需要被發現的内容，考虑给蜘蛛一個可抓取的摘要頁或公開的目錄頁，把入口連結放在無登入狀態下可達的位置。
3. 地域限制頁面避免對搜尋蜘蛛返回 403。若必须限制，至少让入口頁可訪問，並保留通往其他区域的連結。
4. 不要只依赖一個入口。Sitemap、内鏈、面包屑、列表頁都可以作為 URL 發現的後备渠道，彼此之間互相印證。

观察後的常见结论

如果核對後發現蜘蛛只能看到空壳，優先級通常是：先恢复服務端 HTML 中的連結，再處理彈窗和登入墙的逻辑，最後調整 CDN/WAF 規則。抓取日誌中的狀態碼變化、目标 URL 的發現時間，可以作為調整是否生效的參考，但不要期待立即變化。

搜尋蜘蛛的第一次訪問，往往决定了它能不能顺着連結繼續走。把入口頁做成“無狀態也能讀到連結”的頁面，比事後补提交更稳。