有些站点为了让入口页显得更活跃，或者想把更多目标 URL 铺出去，会在入口页里做链接轮换：每次请求随机抽一批链接输出，或者按小时、按天切换不同的链接组合。问题随之而来——搜索蜘蛛每次抓到的都是不同的 HTML，它到底会跟进哪些链接？
搜索蜘蛛看到的只是“某一次”的页面
搜索蜘蛛抓取入口页时，拿到的只是那一次请求返回的 HTML。它并不知道昨天、上一个小时，或者另一个 IP 请求时页面长什么样。所以链接轮换不会让蜘蛛“看到全部链接”，它只能看到自己抓到的那一版。
某个目标 URL 能不能被发现，取决于那一刻它有没有出现在返回的 HTML 里。如果它恰好在蜘蛛没抓到的那一版里，这次就不会被记录。
轮换越多，单个 URL 的发现概率越低
- 假设页面有 200 个链接位，每次随机输出 50 个，那么某个 URL 出现的概率大约是四分之一；蜘蛛只抓一次，错过就很正常。
- 页面每次都不一样，搜索引擎很难判断这个页面的稳定内容是什么。这是经验层面的观察，不是绝对规则，但确实会让发现链路变得不稳定。
- 反过来，如果每次固定出现的核心链接都在，只有小部分参与轮换，发现过程就踏实得多。
实践中怎么做比较稳妥
保留一块固定区域
把最重要的目标 URL 放在每次都返回的固定区块里，轮换只放在次要位置。这样即使蜘蛛只抓到一次，核心链接也不会丢。
控制轮换比例和链接总数
一次输出的链接总数别太多，轮换比例也别太高。常见做法是保持七成左右固定，两三成参与轮换，让页面有变化但不至于面目全非。
用日志验证，而不是靠猜
- 从服务器日志里筛出搜索蜘蛛的请求，确认入口页在哪些时间点被抓过。
- 再看同一时间段里，目标 URL 有没有被请求。
- 如果只有入口页被抓、目标 URL 长期不见，就要排查是那一版快照没包含它，还是链接本身被挡（nofollow、脚本生成、robots 限制等）。
- 把不同版本的 HTML 拉出来对比，看看目标链接出现在哪一版、出现频率如何。
几个容易踩的坑
- 缓存导致版本固定：如果 CDN 或页面缓存把某一版 HTML 长时间缓存住，蜘蛛每次拿到的是同一版，轮换等于失效。
- 轮换逻辑依赖 Cookie 或 UA：蜘蛛拿到的可能是默认版本甚至空版本，结果一条链接都没有。
- 把轮换当成“覆盖更多”：抓取预算有限，输出链接越多，平均到每个链接上的抓取机会反而越少。
轮换链接能扩大曝光面，但同时牺牲了确定性。如果你关心的是某几个具体 URL 能不能被发现，稳定出现比随机出现更靠谱。
总结一句：搜索蜘蛛是按快照抓取的，页面每次不一样，它只会跟进当时看到的那一批链接。把核心链接固定下来，轮换作为补充，再用日志验证实际结果，比单纯加大轮换量更有意义。