做蜘蛛池的人常會問：入口頁上不寫超連結，直接 301 跳到目标 URL，搜尋蜘蛛還能不能把目标連結發現？答案是能，但“能發現”和“值得這么做”是两回事。這两種方式在抓取路径、配額消耗和出错时的表現都不一样。
301 跳轉是怎么被搜尋蜘蛛识別的
搜尋蜘蛛抓取入口頁时，服務器返回的狀態碼是 301，並在 Location 响應头里给出新地址。爬虫會把 Location 里的 URL 放進待抓取队列，按自己的調度节奏再去抓那個地址。整個過程不需要頁面里有任何可见連結。
換句话说，跳轉本身就是一條連結關系，只不過它寫在 HTTP 头里，而不是寫在 HTML 里。
頁面内超連結和 301 跳轉的差別
- 發現數量：一個入口頁里可以放几十上百個超連結，一次抓取就能發現一批 URL；301 一次只能指向一個地址，想批量發現就得准备同样多的入口 URL。
- 语境信息：超連結的锚文本、周围文字、頁面主题能给爬虫提供一些语境，301 只有目标地址，没有锚文本。
- 配額消耗：301 需要多一次 HTTP 請求（先請求入口頁，再請求目标頁），而超連結在抓完入口頁後就完成了發現。量大的时候，跳轉带来的額外請求會明顯占用抓取配額。
- 容错表現：跳轉鏈越長，中間任何一环超时、被 robots 拦截、返回 5xx，整條鏈就断了；頁面内多個超連結之間互不影响。
容易被忽略的几種“伪跳轉”
不是所有跳轉都等價：
- 302 / 307 临时跳轉：同样能被跟随，但语义是临时。長期用临时跳轉代替 301，搜尋引擎在合並信号时會更保守。
- meta refresh：寫在 HTML 里，需要先解析頁面。延迟時間设得太長（比如 5 秒以上）时，部分爬虫可能直接放弃。
- JavaScript 跳轉：依赖脚本执行，能不能被發現取决于爬虫是否渲染頁面，稳定性不如服務端跳轉。
- 跳轉鏈：A→B→C→目标，每多一跳就多一次請求，也更容易在中間环节丢失。建议最多一跳直達。
什么情况适合用 301，什么情况不要用
适合的场景：目标 URL 換過域名或目錄结构，需要把老地址的信号導過去；或者入口頁本身没有内容展示需求，只做一個纯入口。
不适合的场景：需要在同一個入口頁里批量發現很多目标 URL；目标站還在频繁更換地址；入口頁上的連結主要是给人点的，用戶看到自動跳轉体驗很差。
几個實操提醒
- Location 里尽量用绝對地址，避免相對路径带来解析偏差。
- 確認跳轉目标本身允许被抓：如果目标 URL 被它所在站点的 robots.txt 禁止，爬虫即使拿到了 Location 也不會去抓。
- 用日誌驗證：看入口 URL 的訪問记錄里有没有紧接着出現目标 URL 的抓取請求，以及两次請求的間隔，可以判断跳轉到底有没有被跟随。
- 別把跳轉当成绕開規則的手段。搜尋蜘蛛對跳轉目标和普通連結的判断逻辑差不多，一样會看目标頁的质量和可訪問性。
無论是頁面里的超連結還是 301 跳轉，本质上都只是把 URL 递到爬虫面前。是否抓取、是否收錄，最终取决于目标頁本身的质量、可訪問性和站点整体情况，没有任何方式可以保證结果。