蜘蛛池入口頁常常承担分發任務：把蜘蛛從入口地址带到目标頁，或者在不同域名、不同活動頁之間做切換。這时重定向方式就不只是技術细节，它會直接影响蜘蛛是否繼續跟、跟到哪里、原地址的索引怎么變。
蜘蛛對几種跳轉方式的處理差异
301 永久重定向
301 是蜘蛛最容易理解的一種。它表示原地址已经永久換到新地址，蜘蛛通常會逐步把新 URL 纳入索引，並把原地址的信号轉移到目标頁。對入口頁来说，如果你确定某個入口地址不再使用，301 一跳到位最干净。需要注意的是，301 鏈不要拉長，A 跳 B、B 再跳 C，會消耗抓取机會，也可能让蜘蛛中途停下。
302、303、307 临时重定向
临时重定向告诉蜘蛛原地址仍然有效，只是暂时指向別處。蜘蛛一般會繼續保留原地址，抓取时可能跟随到临时目标，但不會立刻替換索引。适合短期切換、灰度測試、临时维護。但如果長期挂着 302，索引里可能出現原地址和临时目标並存，入口頁的 URL 信号變得模糊。
meta refresh
meta refresh 寫在 HTML 的 head 里，常见寫法是延迟 0 秒跳到目标頁。蜘蛛能识別這種跳轉，但它比 HTTP 头跳轉弱一层：如果延迟時間设得太長，蜘蛛可能不會等待；如果頁面本身内容空洞，只靠 meta refresh 跳走，容易被当成低质量入口。用它做兜底可以，做主跳轉要谨慎。
JS 跳轉
通過 JavaScript 执行 location 跳轉，依赖蜘蛛的渲染能力。蜘蛛不一定每次都执行 JS，或者执行時間点比你预期晚。入口頁如果只靠 JS 跳轉，蜘蛛很可能停在入口頁，看不到目标内容。比較稳的做法是在 HTML 里放一個普通連結作為兜底，让不执行 JS 的抓取也能繼續走。
跳轉鏈與跳轉目标
- 尽量一跳到位，避免 A→B→C 的鏈式跳轉。
- 跳轉目标要和入口頁主题相關，不要跳到完全不相關的内容。
- 不要跳到 robots.txt 屏蔽的目錄、404 頁面或登入墙。
- 避免跳轉循环，A 跳 B、B 跳回 A，蜘蛛會反复消耗抓取。
- 跳轉目标层級不要太深，减少後續抓取负担。
常见誤区
- 用 302 代替 301 做永久迁移，索引長期不更新。
- meta refresh 延迟设成 30 秒甚至更長，蜘蛛早就走了。
- 入口頁同时放多種跳轉，HTTP 头、meta、JS 互相冲突。
- 跳轉到带參數的動態地址，每次跳轉都生成新 URL，造成重复抓取。
- 只看浏览器效果，不用抓取日誌確認蜘蛛是否真的跟随。
實际配置里的几個建议
- 永久迁移優先用 301，並在服務器层實現，不要靠頁面脚本。
- 临时切換用 302，同时明确計划什么时候恢复或轉正。
- meta refresh 只做辅助，延迟设為 0，且入口頁仍保留可讀内容。
- JS 跳轉必须配 HTML 連結兜底，避免蜘蛛空跑。
- 跳轉上线後用服務器日誌核對：蜘蛛有没有請求目标頁、返回什么狀態碼。
- 入口頁數量多时，统一跳轉規則，减少不同頁面行為不一致带来的排查成本。
重定向只是把蜘蛛引到目标頁的一種手段，它不能保證蜘蛛一定抓取或收錄目标内容。真正决定结果的，是目标頁本身的质量、可訪問性和整体站点环境。