抓取路径里的“中間頁”是什么
蜘蛛從外鏈、Sitemap 或站内連結拿到一個 URL 後，並不會直接看到最终内容。它先請求服務器，拿到响應，再决定是否繼續深入。如果這個 URL 返回的不是目标頁面，而是一個需要点击、登入、同意协议或等待跳轉的頁面，這條抓取路径就被截断在中間了。常见形態包括：
- 登入墙：未登入訪問时统一跳到登入頁，正文完全不可见；
- 驗證碼與風控頁：命中限流後返回人机校驗頁面；
- Cookie 同意、隐私协议、年龄確認等前置彈层或獨立頁面；
- 地区、語言、门店選擇頁：預設没有落到具体内容；
- App 引導頁與短鏈中轉頁：需要再次跳轉才到正文。
這些頁面本身大多能正常打開，狀態碼往往是 200，所以在日誌里看不出明顯異常，但蜘蛛拿到的是一個空壳。
為什么它比 404 更难發現
404 會明确告诉蜘蛛這條路径走不通，蜘蛛會逐步降低抓取频率，甚至清理该 URL。中間頁相反：服務器返回 200，内容却與预期無關。對蜘蛛来说，這等于同一批 URL 反复“看起来可用、實际没有内容”，抓取资源被持續消耗，而真正的内容頁面始终没有被完整抓取。
判断标准不是狀態碼，而是蜘蛛拿到响應後，能否在同一 URL 上看到目标内容。
核對方法：從日誌到内容三步走
- 看日誌里的重复抓取。同一批 URL 在較長周期内被反复請求，却没有對應的内容更新或連結變化，通常說明抓取落在了没有價值的响應上。
- 用無 Cookie、無登入的方式回放請求。用命令行工具或浏览器無痕模式直接請求目标 URL，观察首屏 HTML 里是否包含标题、正文、價格等核心内容，而不是校驗頁或跳轉脚本。
- 核對跳轉與渲染後的落地 URL。记錄服務端 3xx、JS 跳轉、meta refresh 的最终地址，確認站内連結與 Sitemap 里寫的是最终可訪問版本。
内鏈與 Sitemap 的配合
中間頁問题往往在结构上被放大：如果導航、列表頁的連結直接指向登入後才可见的 URL，蜘蛛每次進入都要撞一次墙；如果 Sitemap 里混入大量带篩選參數、需要登入的结果頁，則會進一步稀释抓取资源。較為稳妥的做法是：
- Sitemap 只收錄無需登入、無需額外交互即可看到正文的 URL；
- 站内連結尽量指向可公開訪問的版本，登入後才會出現的頁面不放入主導航；
- 對确實需要拦截的区域，用 robots.txt 寫清規則，而不是让蜘蛛反复拿到驗證頁；
- 内容型頁面對蜘蛛放行，把限流與風控放在真正需要保護的接口上。
處理时的邊界
不建议把所有前置頁一刀切当成错誤處理。有些中間頁是业務必需，比如地区選擇，關键在于把“對用戶可见”和“對蜘蛛可见”分開设計：让蜘蛛能直達内容，让用戶仍保留必要的引導流程。若某個頁面短期内無法提供可抓取内容，與其让它返回 200 空壳，不如按實际情况返回明确的狀態碼，或在 Sitemap 中暂时移除，避免長期占用抓取资源。
核對這件事不需要复杂工具，通常是“日誌里的重复抓取”與“無登入狀態下的實际响應”两條线交叉驗證。把中間頁從抓取路径中剥离出来，URL 發現和内容抓取的效率才更接近站点的真實结构。