做蜘蛛池的人常想让入口頁"活"起来：每次訪問返回的連結列表都不一样，用一批 URL 轮流展示。出發点是让有限的入口頁承载更多目标地址。但搜尋蜘蛛不是人，它不會反复刷新頁面去找全部版本。理解它的抓取方式，才能判断這種做法能做到什么、又會卡在哪里。
搜尋蜘蛛一次抓取只看一個版本
当蜘蛛請求入口頁时，服務器返回哪一份 HTML，它就解析哪一份。只有当次 HTML 里真實出現的目标連結，才可能進入它的待抓取队列；没出現過的連結，對它来说等于不存在。它不會因為昨天看到的是 A 组、今天看到的是 B 组，就自動把两组合並。
而且蜘蛛的抓取是有节制的。一次訪問通常只产生一轮連結發現，抓取配額有限时，同一個入口頁不會在短時間内被反复請求。轮換池越大、切換越快，單個目标 URL 出現在蜘蛛眼前的概率就越低。
缓存會把版本固定住
如果入口頁走了 CDN，或者本身設定了較長的缓存头，蜘蛛回訪时拿到的大概率是缓存里的那一版。這时候所谓的"轮換"只對真實用戶生效，對蜘蛛基本等于一份固定頁面。
抓取間隔長，中間版本直接被跳過
蜘蛛两次訪問之間可能隔了几天，而這几天里轮換池已经轉了很多圈。那些只在某個短時間段出現的連結，很可能一次都没被看到過。
几個常见的誤判
- 用無痕浏览器刷新几次，看到不同連結，就以為蜘蛛也看到了全部版本。
- 看日誌里蜘蛛来訪次數很多，就以為目标 URL 已经被發現，其實要看的记錄主体是目标 URL，而不是入口頁。
- 同一地址每次返回完全不同的内容，這本身是一個不太稳定的信号。极端情况下入口頁可能被降權處理，反而拖累里面連結的發現效率。
- 動態生成拖慢响應，每次都要實时拼装頁面，响應時間變長，抓取体驗變差，也會减少單位時間内的有效抓取量。
想让轮換更可控，可以從這几点入手
- 把入口頁分成"稳定层"和"轮換层"：一部分連結固定不變，保證基础發現量；另一部分做小范围轮換。
- 控制單頁連結數量，不要把几十上百條連結堆在一頁上，連結越多，單條的注意力越少。
- 轮換池不要太大，让每一版都能覆盖到池子里相對稳定的那部分地址。
- 用 sitemap 或其他固定入口做兜底，不要把所有 URL 發現都押在轮換頁上。
- 观察时以目标 URL 的抓取日誌為准，而不是入口頁的狀態碼或訪問次數。
把連結展示给蜘蛛，只是让它"有机會"看到這個地址。是否抓取、抓到之後是否收錄，還取决于目标頁本身的内容质量、服務器响應和站点整体情况，任何入口頁技巧都不能保證结果。
小结
轮換本身不是错，但要清楚它的上限：蜘蛛每次只解析当次拿到的 HTML，轮換只能提高"某次被抓到时目标連結正好在頁面里"的概率，不能让它看到全部版本。想稳一点，就把大部分發現量放在固定、清晰、可反复抓取的入口上，轮換只当补充手段。