入口頁在蜘蛛池里通常只做一件事：把蜘蛛送到目标頁面。但“送”的方式有很多種，服務端 301、302，前端 JS、meta refresh，甚至 iframe 嵌套，都能让浏览器跳過去，對蜘蛛的意味却完全不同。選错方式，蜘蛛可能连门都没進就退回去了。
先分清两類跳轉
一類是服務端跳轉，靠 HTTP 狀態碼完成，蜘蛛發出請求後立刻收到新的地址，几乎没有額外成本。另一類是客戶端跳轉，頁面先返回 200，再靠 JS 或 meta 标簽把浏览器带走。後者對普通用戶没問题，對蜘蛛就多了一道不确定的门槛。
301 與 302 的取舍
- 301 永久跳轉：语义上表示入口頁的最终位置已经确定，蜘蛛更倾向于把它当作稳定映射记住，後續再遇到该入口时抓取路径更明确。
- 302 临时跳轉：表示這是临时安排。偶尔用没有問题，但如果整個池子的入口頁長期批量 302，蜘蛛對目标地址的判定會偏保守，抓取分配的稳定性也會差一些。
- 307 / 308：主要解决請求方法和缓存语义問题，用作入口跳轉意义不大，反而容易在缓存层产生分歧。
如果入口本身是临时工位，比如需要換绑目标，302 更合适；如果入口和目标的關系長期不變，301 更省心。
JS 跳轉與 meta refresh
這两種都属于客戶端跳轉，前提是蜘蛛愿意渲染頁面。抓取预算紧張时，渲染往往被排到後面，蜘蛛拿到的只是一個内容不多的 HTML 骨架，然後就不再深入。meta refresh 设成 0 秒比 JS 稳一些，因為解析 HTML 时就能讀到，但仍然不如服務端跳轉直接。
比較稳妥的用法是把客戶端跳轉当兜底：入口頁先给一段简短内容，再用 meta 或 JS 补充引導，而不是整頁只有一行跳轉代碼。
跳轉鏈太長會怎样
每一次跳轉都是一次額外的請求。A 跳 B、B 跳 C、C 跳 D 的三跳鏈，中間任意一环超时、返回 5xx 或被拦截，蜘蛛的這次訪問就断在半路。入口頁的跳轉建议控制在一跳之内，直接把地址指向最终頁面。
几種常见的踩坑寫法
- 入口頁全部 302 到站点首頁，蜘蛛跟着轉一圈後什么都没拿到，下次再来的意愿自然降低。
- 跳轉目标與入口内容毫無關系，比如入口寫的是商品信息，跳過去是站内搜尋頁。
- 跳轉目标恰好被 robots.txt 挡住了，或者本身返回 404、5xx，等于白跑一趟。
- 用 301 却频繁更換目标地址，蜘蛛侧的狀態碼记錄和實际映射對不上，容易造成抓取混乱。
- 入口頁只有跳轉代碼、没有可讀内容，蜘蛛拿到空白頁後停止向下。
實际配置时的几点建议
- 入口頁统一使用 301 指向一個稳定、可訪問的最终頁面，除非确實需要临时切換。
- 保持一跳，不要為了統計、分流再套几层跳轉。
- 跳轉前给頁面留一点真實内容，标题和一两段描述即可，避免完全空白。
- 定期检查跳轉目标的狀態碼，確認没有落進 404、410 或被 robots 屏蔽的路径。
- 在日誌里單獨观察入口頁的狀態碼分布，看蜘蛛是否真的跟随了跳轉、跟随之後有没有繼續抓取。
跳轉本身不产生抓取價值，它只是路径。路径越短、越确定，蜘蛛繼續走下去的可能性就越高。
把跳轉当成入口頁的基本功：選對狀態碼、控制跳轉层級、保證目标可訪問，比反复調整投放數量更實在。池子里的入口多了以後，跳轉方式一旦统一，排查問题也會轻松很多。