做入口頁的人经常碰到一種情况：目标站早就上了 HTTPS，但入口頁里批量生成的連結還是 http 開头。連結照样能被抓到，可搜尋蜘蛛跟進之後到底發生了什么，很多人没细看。下面把中間這几步拆開说。
搜尋蜘蛛遇到 http 連結，實际會走一遍跳轉
当你给出的是 http://example.com/a，而服務器把所有 http 請求 301 到 https://example.com/a，搜尋蜘蛛並不會直接算失敗。它先請求 http 版本，拿到 301 和 Location 头，再請求 https 版本，最後才讀到頁面内容。
也就是说，一次連結跟進變成了两次請求。單看一條連結没什么，但入口頁里成千上萬條 URL 都這样，抓取請求數會成倍增加。
跳轉本身不致命，這几種情况才要注意
證书有問题
- 證书過期、域名不匹配、自簽名證书，搜尋蜘蛛在 https 這一步可能直接中断，頁面内容讀不到，連結等于白放。
- 中間證书鏈没配全，有的客戶端能過、有的過不去，日誌里會留下抓取失敗的记錄。
跳轉鏈太長，或者在协议之間来回跳
- http → https → 加 www → 再加路径重定向，几层叠在一起，抓取成本高，也容易被当成不稳定。
- 更糟的是 https 又跳回 http，形成循环，搜尋蜘蛛通常會直接放弃。
跳轉目标對不上原 URL
- 有些服務器預設跳首頁，而不是原来的那條 URL。搜尋蜘蛛跟完跳轉發現内容對不上，這條連結的指向就丢了。
用了 302 而不是 301
- 302 表示临时，搜尋引擎可能長期保留 http 版本作為規范地址，也可能反复回来重试，白白消耗抓取配額。
從日誌里怎么確認
打開入口頁所在服務器的日誌，或者直接看目标站日誌，重点找這几個信号：
- 同一時間出現成對的請求：一條 http://… 狀態 301，紧跟一條 https://… 狀態 200。
- 大量 301 後面找不到對應的 200，說明 https 那一步失敗，多半是證书或超时。
- 同一條 URL 反复出現 3xx 连跳，說明跳轉鏈没有收敛。
- 目标站日誌里来自搜尋蜘蛛的請求，来源或 referer 指向入口頁。
如果只有入口頁的日誌在涨，目标站這邊却没有對應的抓取记錄，那中間基本就断在协议轉換這一步。
處理建议
- 入口頁批量生成連結时，直接寫 https 版本，省掉第一次跳轉。
- 目标站確認所有 http 請求都 301 到 https，一跳到底，不要叠加 www、路径、结尾斜杠等多层規則。
- 检查證书有效期、域名匹配和證书鏈完整性，尤其是走 CDN 回源那一段。
- 做過 HSTS 的话要注意，它主要對浏览器生效，搜尋蜘蛛不一定按 HSTS 走，服務端 301 仍要保證正常。
- 跳轉後的落地頁要和原 URL 内容對應，不要统一跳到首頁。
- 想驗證可以用 curl -I 依次請求 http 和 https 版本，看狀態碼和 Location 是否一次到位。
协议统一是抓取路径上最容易被忽略的一环。它不决定收錄，也不保證排名，但會實實在在消耗抓取配額，並在證书或跳轉異常时让連結直接失效。
入口頁的事大多是工程细节。把跳轉收敛成一跳、把證书修好，通常比反复調整連結寫法更有意义。改完之後隔几天再看一次日誌，確認 301 後面都跟上了 200，這一步才算真的做完。