有些站点為了让入口頁顯得更活跃，或者想把更多目标 URL 铺出去，會在入口頁里做連結轮換：每次請求随机抽一批連結輸出，或者按小时、按天切換不同的連結组合。問题随之而来——搜尋蜘蛛每次抓到的都是不同的 HTML，它到底會跟進哪些連結？
搜尋蜘蛛看到的只是“某一次”的頁面
搜尋蜘蛛抓取入口頁时，拿到的只是那一次請求返回的 HTML。它並不知道昨天、上一個小时，或者另一個 IP 請求时頁面長什么样。所以連結轮換不會让蜘蛛“看到全部連結”，它只能看到自己抓到的那一版。
某個目标 URL 能不能被發現，取决于那一刻它有没有出現在返回的 HTML 里。如果它恰好在蜘蛛没抓到的那一版里，這次就不會被记錄。
轮換越多，單個 URL 的發現概率越低
- 假设頁面有 200 個連結位，每次随机輸出 50 個，那么某個 URL 出現的概率大约是四分之一；蜘蛛只抓一次，错過就很正常。
- 頁面每次都不一样，搜尋引擎很难判断這個頁面的稳定内容是什么。這是经驗层面的观察，不是绝對規則，但确實會让發現鏈路變得不稳定。
- 反過来，如果每次固定出現的核心連結都在，只有小部分參與轮換，發現過程就踏實得多。
實践中怎么做比較稳妥
保留一块固定区域
把最重要的目标 URL 放在每次都返回的固定区块里，轮換只放在次要位置。這样即使蜘蛛只抓到一次，核心連結也不會丢。
控制轮換比例和連結總數
一次輸出的連結總數別太多，轮換比例也別太高。常见做法是保持七成左右固定，两三成參與轮換，让頁面有變化但不至于面目全非。
用日誌驗證，而不是靠猜
- 從服務器日誌里筛出搜尋蜘蛛的請求，確認入口頁在哪些時間点被抓過。
- 再看同一時間段里，目标 URL 有没有被請求。
- 如果只有入口頁被抓、目标 URL 長期不见，就要排查是那一版快照没包含它，還是連結本身被挡（nofollow、脚本生成、robots 限制等）。
- 把不同版本的 HTML 拉出来對比，看看目标連結出現在哪一版、出現频率如何。
几個容易踩的坑
- 缓存導致版本固定：如果 CDN 或頁面缓存把某一版 HTML 長時間缓存住，蜘蛛每次拿到的是同一版，轮換等于失效。
- 轮換逻辑依赖 Cookie 或 UA：蜘蛛拿到的可能是預設版本甚至空版本，结果一條連結都没有。
- 把轮換当成“覆盖更多”：抓取预算有限，輸出連結越多，平均到每個連結上的抓取机會反而越少。
轮換連結能扩大曝光面，但同时牺牲了确定性。如果你關心的是某几個具体 URL 能不能被發現，稳定出現比随机出現更靠谱。
總结一句：搜尋蜘蛛是按快照抓取的，頁面每次不一样，它只會跟進当时看到的那一批連結。把核心連結固定下来，轮換作為补充，再用日誌驗證實际结果，比單纯加大轮換量更有意义。