蜘蛛池常见的结构是：入口頁负责被發現，目标 URL 才是真正想被訪問的地址。有些方案會在两者之間加一层跳轉，比如入口頁先跳到中間地址，再落到目标頁。這一层跳轉對搜尋蜘蛛来说並不透明，處理方式和直鏈有明顯区別。
不同跳轉形式，搜尋蜘蛛的處理並不一样
301 與 302
301 表示永久移動，302 表示临时移動。搜尋蜘蛛一般都會跟随這两種跳轉，把抓取结果落到跳轉後的地址上。区別更多体現在後續判断：301 通常被视為地址已经固定，之後從原地址進入的频率可能下降；302 保留了原地址，蜘蛛仍可能反复從原地址進入。如果入口頁本身就是临时的分發入口，用 302 更符合语义；如果是确定不再使用的舊地址，用 301 更合适。
容易被忽略的一点是，跳轉鏈越長，蜘蛛在每一跳上花的時間越多。A 到 B 再到 C 這種两跳结构，比 A 直達 C 多一次請求，在入口頁數量較大的场景下，這個成本會被放大。
meta refresh 與 JavaScript 跳轉
meta refresh 属于 HTML 层的跳轉，蜘蛛通常能识別，但延迟時間為 0 和延迟几秒的處理结果不完全一样。延迟過長的寫法有时會被当成頁面内容的一部分，而不是跳轉指令。
JavaScript 跳轉依赖脚本执行。具备渲染能力的抓取程序可能跟到目标地址，但這個环节並不保證一定發生，尤其是在頁面脚本較多、外部资源加载超时的情况下。把跳轉逻辑放在 JS 里，等于把能否被發現交给了一個不确定环节。
跳轉過程中值得留意的几個细节
- robots.txt：每一跳的地址各自受其所在域名的 robots.txt 约束。入口頁放行、中間地址被禁止，鏈條就可能断在中間。
- nofollow 與 meta robots：响應头或頁面里的 noindex、nofollow 一般不阻止蜘蛛跟随跳轉，但會影响它對後續地址的判断，不适合拿来当抓取開關。
- 依赖 UA 或 Cookie 的分流：部分入口頁會對不同 UA 返回不同的跳轉目标。蜘蛛拿到的结果和你浏览器里看到的不一致时，日誌和實际效果就對不上。
- 並發與超时：跳轉鏈中任何一跳响應慢或超时，整條鏈路都不會走完。
從日誌確認跳轉有没有被走通
如果日誌里能看到蜘蛛訪問入口頁的记錄，却看不到目标 URL 的請求记錄，可以按下面几項核對：
- 入口頁返回的狀態碼是 200 還是 3xx，跳轉目标是否和预期一致。
- 中間地址是否也出現在日誌里，有没有被請求過。
- 中間地址所在域名的 robots.txt 是否放行。
- 跳轉是服務端下發還是頁面脚本触發，前者在日誌里一定有迹可循。
抓取日誌只能說明蜘蛛来過，不代表它跟着你的预期走到了终点。跳轉鏈上的每一跳都會留下自己的记錄，缺了哪一环就去查哪一环。
更稳妥的做法
能直鏈就直鏈。入口頁到目标 URL 的跳轉，每多一层就多一份不确定性。如果确實需要中間层来做統計或分流，可以參考以下几点：
- 用 301 或 302 完成跳轉，不要依赖 JavaScript。
- 把跳轉层數控制在一层以内。
- 中間地址保持可抓取，狀態碼稳定，不要时好时坏。
- 避免用 UA 判断给蜘蛛和普通用戶返回不同的跳轉目标。
跳轉本身不是問题，問题在于鏈路中任何一個环节都可能出状况，而排查时往往只看了入口頁和最终頁两端。把中間环节也纳入观察范围，很多“蜘蛛来過却没有後續”的情况就有了解释。