先厘清：發現連結和抓取連結是两件事
搜尋蜘蛛在入口頁看到一個連結，只是把連結里的 URL 放進待抓取队列，並不代表這個 URL 一定被抓取，也不代表最终地址會被索引。真正請求时，蜘蛛會先訪問連結里寫的那個地址。如果它返回 302，蜘蛛會繼續跟到 Location 指向的新地址。
所以答案通常是：發現阶段记錄的是跳轉前的 URL，抓取阶段會跟到跳轉後的最终地址。但“跟過去”不等于“一定收錄”，中間還有狀態碼、robots、内容质量等因素。
302 跳轉时，搜尋蜘蛛一般會怎么走
- 請求入口頁連結里的 URL；
- 收到 302 和 Location 响應头；
- 對 Location 指向的地址發起新請求；
- 如果最终地址返回 200，才可能解析内容並進入索引流程；
- 如果最终地址也跳轉，會繼續跟，但跳轉鏈過長时可能放弃或降低優先級。
這里要注意，302 是临时跳轉。蜘蛛不會像對待 301 那样把两個地址做長期合並理解，它更倾向于每次重新判断。如果你希望最终地址被稳定抓取，長期使用 302 不是好選擇。
哪些情况會让目标 URL 在發現後“跟丢”
並不是所有 302 都能顺利跟到终点。常见問题有：
- 跳轉鏈太長：入口頁連結跳到 A，A 跳到 B，B 再跳到 C。蜘蛛可能只跟两三跳，後面的 URL 發現概率下降。
- 跨域跳轉：如果最终地址在另一個域名，蜘蛛會按新域名重新判断可抓取性，入口頁的“信任”不會直接传递。
- 最终地址被 robots.txt 禁止：即使跳轉成功，蜘蛛看到禁止規則後也不會抓取内容。
- 最终地址需要登入或驗證：返回登入頁、驗證碼或 403，蜘蛛拿不到有效内容。
- 跳轉依赖 JavaScript 或 meta refresh：服務器端 302 通常好處理，前端跳轉不一定被执行，容易只停在跳轉前頁面。
- 返回 302 後立刻 404：跳轉目标不存在，蜘蛛會记錄失敗，後續再發現同一連結时可能降低尝试频率。
怎么判断搜尋蜘蛛是停在跳轉前還是跟到了最终地址
最直接的方法是看服務器日誌。你可以按時間顺序找搜尋蜘蛛的訪問记錄：
- 先看入口頁的訪問记錄，確認它抓取了入口頁；
- 再看跳轉前 URL 是否出現請求，狀態碼是不是 302；
- 繼續找同一時間段内最终地址的請求记錄；
- 如果最终地址有請求且返回 200，說明蜘蛛至少跟到了這一步；
- 如果只有跳轉前 URL 的請求，没有最终地址請求，說明跳轉没有被處理或中途停止。
日誌里還要留意請求来源。有些請求可能是用戶浏览器或其他爬虫，不一定是搜尋蜘蛛。结合 IP 反查和 User-Agent 一起判断更稳妥。
蜘蛛池入口頁里，怎么處理 302 更合适
如果你在运营蜘蛛池入口頁，目标 URL 又必须经過跳轉，可以考虑這些做法：
- 優先用 301：当跳轉是永久性的，301 更利于地址關系稳定，减少每次重新判断。
- 缩短跳轉鏈：尽量让入口頁連結直接指向最终地址，最多保留一跳。
- 入口頁直接放最终地址：如果最终地址可公開訪問，直接寫最终 URL，比中間跳轉更省事。
- 检查最终地址可抓取性：確認 robots.txt、noindex、登入墙、WAF 不會拦住蜘蛛。
- 保持入口頁連結稳定：不要频繁更換跳轉目标，否則蜘蛛难以判断哪個地址是主版本。
- 用 sitemap 和主動提交辅助：跳轉地址不是不能用，但不要只依赖它發現 URL。
302 本身不是“错誤”，它只是临时跳轉。真正影响 URL 發現的是跳轉鏈長度、最终地址狀態和可抓取性。把這几項控制好，蜘蛛跟到最终地址的概率會高很多。
常见誤区
有人以為入口頁寫了跳轉前 URL，搜尋蜘蛛發現的就是最终 URL。實际上，發現记錄的是連結本身，抓取和索引才會跟着跳轉走。也有人以為只要 302 成功，最终地址就一定會被收錄。收錄還取决于内容质量、重复度、站点整体情况和抓取预算。
如果最终地址長期不收錄，先查日誌確認蜘蛛是否真的請求過，再查最终地址的狀態碼和 robots 規則，最後才考虑内容层面的問题。顺序反過来，容易白忙。