很多站点會做 A/B 測試、個性化推荐、随机排序，甚至在模板里直接塞時間戳或随机數。對真實用戶来说這些變化提供了新鲜感，但對搜尋蜘蛛来说，同一個 URL 每次返回的内容都不一样，會带来一系列不太好排查的問题。
内容不稳定具体指什么
這里说的不是頁面正常更新，而是同一 URL 在短時間内、没有真實内容變更的前提下，返回的 HTML 出現明顯差异。常见来源包括：
- 模板里嵌入了目前時間、随机數或會话 ID。
- 列表頁每次刷新排序不同，或推荐位随机抽取内容。
- A/B 測試：一部分請求返回 A 版本，另一部分返回 B 版本。
- 按 UA、IP 或登入態做差异化，给蜘蛛返回了简化版甚至空壳版。
- CDN 與源站版本不一致，不同邊缘节点返回的缓存不同。
- 分頁、篩選參數组合導致同一逻辑頁面出現多種内容快照。
蜘蛛遇到不稳定内容會怎么處理
搜尋引擎不會因為“頁面每次都變”單獨惩罚谁，但抓取和索引环节會發生一些變化，可以從日誌和收錄表現上观察到：
- 重复抓取增加：蜘蛛發現内容與上次快照差异較大时，會倾向于再抓一次確認，抓取額度被同一批 URL 反复消耗。
- 快照與线上不一致：某次抓取恰好命中了 A/B 中的一個版本，索引里留下的可能不是你主推的那版。
- 連結發現變慢：如果 HTML 结构随版本變化，部分内鏈可能在某次抓取中缺失，蜘蛛這次就走不到了。
- 内容质量判断變难：同一 URL 内容差异過大，容易被当成低质或纯動態頁，進而降低重訪频率。
關键不是“内容不能更新”，而是“在没有真實更新的情况下，返回结果要尽量一致”。
怎么收敛：一份可执行的检查清單
- 固定服務端渲染的輸出：時間戳、随机數、會话 ID 這類只對用戶有用的字段，不要寫進首屏 HTML；需要的话放到接口里异步取。
- A/B 測試按稳定维度分流：優先用 Cookie 或用戶 ID 固定分组；對蜘蛛請求统一返回主版本，不要让同一個 URL 在两次抓取之間反复切換。
- 谨慎给蜘蛛做特殊版本：如果确實要给蜘蛛返回精简版，确保核心正文和主要内鏈與用戶版本一致，不要把連結藏在异步加载里。
- 随机推荐位做好兜底：随机内容可以保留，但要保證首屏有稳定的主列表和導航連結，随机模块不作為唯一入口。
- 缓存策略统一：检查 CDN 各节点、源站、頁面級缓存的過期時間和 Vary 头，避免不同节点返回差异過大的版本。
- 參數類頁面做規范化：排序、篩選參數用 canonical 或 robots 規則收敛到少數几個可抓版本，减少大量近似快照。
- 用日誌驗證：抓取日誌中如果同一 URL 在短時間内被反复抓取、且响應体积波動明顯，通常就是内容不稳定的信号。
調整後看哪些指标
改動上线之後，可以观察几個方向：同一 URL 的抓取次數是否下降、抓取到的响應体积是否趋于稳定、新内鏈從上线到被發現的天數是否缩短。這些指标比單纯看收錄數量更能說明抓取路径是否稳定。
内容不稳定往往是模板、實驗平台和缓存策略共同造成的，很难一次改到位。建议先從時間戳、随机數這類最容易定位的問题入手，再處理 A/B 分流與 CDN 版本差异，通常比一次性大改更容易看到實际效果。