做蜘蛛池的人常想让入口页"活"起来：每次访问返回的链接列表都不一样，用一批 URL 轮流展示。出发点是让有限的入口页承载更多目标地址。但搜索蜘蛛不是人，它不会反复刷新页面去找全部版本。理解它的抓取方式，才能判断这种做法能做到什么、又会卡在哪里。
搜索蜘蛛一次抓取只看一个版本
当蜘蛛请求入口页时，服务器返回哪一份 HTML，它就解析哪一份。只有当次 HTML 里真实出现的目标链接，才可能进入它的待抓取队列；没出现过的链接，对它来说等于不存在。它不会因为昨天看到的是 A 组、今天看到的是 B 组，就自动把两组合并。
而且蜘蛛的抓取是有节制的。一次访问通常只产生一轮链接发现，抓取配额有限时，同一个入口页不会在短时间内被反复请求。轮换池越大、切换越快，单个目标 URL 出现在蜘蛛眼前的概率就越低。
缓存会把版本固定住
如果入口页走了 CDN，或者本身设置了较长的缓存头，蜘蛛回访时拿到的大概率是缓存里的那一版。这时候所谓的"轮换"只对真实用户生效，对蜘蛛基本等于一份固定页面。
抓取间隔长，中间版本直接被跳过
蜘蛛两次访问之间可能隔了几天，而这几天里轮换池已经转了很多圈。那些只在某个短时间段出现的链接，很可能一次都没被看到过。
几个常见的误判
- 用无痕浏览器刷新几次，看到不同链接，就以为蜘蛛也看到了全部版本。
- 看日志里蜘蛛来访次数很多，就以为目标 URL 已经被发现，其实要看的记录主体是目标 URL，而不是入口页。
- 同一地址每次返回完全不同的内容，这本身是一个不太稳定的信号。极端情况下入口页可能被降权处理，反而拖累里面链接的发现效率。
- 动态生成拖慢响应，每次都要实时拼装页面，响应时间变长，抓取体验变差，也会减少单位时间内的有效抓取量。
想让轮换更可控，可以从这几点入手
- 把入口页分成"稳定层"和"轮换层"：一部分链接固定不变，保证基础发现量；另一部分做小范围轮换。
- 控制单页链接数量，不要把几十上百条链接堆在一页上，链接越多，单条的注意力越少。
- 轮换池不要太大，让每一版都能覆盖到池子里相对稳定的那部分地址。
- 用 sitemap 或其他固定入口做兜底，不要把所有 URL 发现都押在轮换页上。
- 观察时以目标 URL 的抓取日志为准，而不是入口页的状态码或访问次数。
把链接展示给蜘蛛，只是让它"有机会"看到这个地址。是否抓取、抓到之后是否收录，还取决于目标页本身的内容质量、服务器响应和站点整体情况，任何入口页技巧都不能保证结果。
小结
轮换本身不是错，但要清楚它的上限：蜘蛛每次只解析当次拿到的 HTML，轮换只能提高"某次被抓到时目标链接正好在页面里"的概率，不能让它看到全部版本。想稳一点，就把大部分发现量放在固定、清晰、可反复抓取的入口上，轮换只当补充手段。