排查收錄問题时，多數人的第一步是打開自己的頁面看一遍：正文完整、结构清楚，于是預設蜘蛛看到的也是這一版。實际鏈路里，蜘蛛拿到的原始 HTML、渲染之後的 DOM、以及最终寫進索引的内容，三者可能互不相同。這種差异平时不顯眼，却是不少頁面停在“已抓取未索引”的直接原因。
差异一般来自哪里
正文靠 JS 注入
抓取和渲染是两個阶段。如果服務器返回的原始 HTML 只是一個空壳，正文要等接口返回後才填進去，那么頁面能不能被理解，就取决于渲染环节是否顺利完成。渲染本身有額外成本，也更容易被超时、资源加载失敗、接口报错打断。
登入態、個性化、A/B 測試
蜘蛛是以未登入身份訪問的。如果未登入时頁面只顯示一句“請登入後查看”，那么索引里很可能就是這句话，而不是真正的正文。A/B 測試同理：如果對不同訪客随机给出不同版本，而蜘蛛也被卷進分流，同一 URL 在两次抓取中返回的内容就不一样，容易造成索引版本反复摇摆。
缓存、CDN 與 UA 分流
有些站点會按 User-Agent 返回不同模板，移動端给精简版，蜘蛛给另一版；也可能因為 CDN 缓存了舊版本，導致蜘蛛長期抓到過期内容。還有一種情况是按 IP 或地区返回不同内容，蜘蛛從另一個出口訪問，看到的是完全不同的頁面。
怎么確認差异存在
- 用搜尋平台提供的抓取測試工具，分別查看“抓取到的 HTML”和“渲染後的 HTML”，確認正文是否完整、标题是否一致。
- 用命令行带蜘蛛 UA 請求一次目标 URL，看返回的 HTML 原始内容、狀態碼和跳轉鏈路。
- 临时關閉浏览器 JS 再打開頁面，看還剩多少可讀内容，剩下多少就代表纯抓取阶段能拿到多少。
- 翻服務器日誌，看蜘蛛實际請求了哪些 URL、關键接口有没有被請求、返回碼是不是 200。
這種差异會怎样影响收錄
- 渲染後内容單薄：索引里存的版本信息量不足，頁面容易被判定為低價值，長期停在“已抓取未索引”。
- 同一 URL 内容不稳定：索引版本跟着變化，展示出来的标题或摘要可能和用戶實际看到的不一致。
- 關键资源被拦截：渲染失敗會触發反复重试，白白消耗抓取预算，挤压其他頁面的抓取机會。
- 首屏與渲染结果错位：靠 JS 补出来的導航和内鏈，如果渲染阶段没跑完，站内連結的發現路径也會断掉。
按什么顺序處理
- 先让核心内容在原始 HTML 里就能讀到，服務端渲染或预渲染是最直接的方案，不必全部改，優先保證正文和主标题。
- 检查 robots.txt，確認渲染所需的 JS、CSS、接口路径没有被誤拦，這類屏蔽往往是自己加上去的。
- 對蜘蛛固定一個版本，不要把 A/B 測試或個性化推荐套用到蜘蛛身上；如果做不到区分，至少让蜘蛛走預設版本。
- 检查缓存策略，避免错誤版本被長時間缓存；改版後可主動清理一次相關缓存。
- 調整完成後，用抓取測試工具复驗一次，之後再看索引狀態的變化，不要指望当天就生效。
處理收錄異常时，先確認“蜘蛛看到的是什么”，往往比直接改内容更省時間。抓取和收錄是前後两步，前一步没走對，後一步怎么優化都使不上力。