做蜘蛛池或入口頁时，经常會遇到這種情形：目标站点已经全站 HTTPS，證书和 301 都配好了，但入口頁里的連結還是老习惯寫成 http://。這时搜尋蜘蛛到底會先抓哪個版本？是直接發現 https，還是先抓 http 再跟過去？答案不复杂，但影响日誌統計和抓取预算。
搜尋蜘蛛發現的是“連結里的字面 URL”
在 URL 發現阶段，搜尋蜘蛛解析入口頁 HTML 时，看到的是 href 里寫的那串字符。你寫 http://example.com/a，它记錄的就是 http 版本；你寫 https://example.com/a，它记錄的就是 https 版本。搜尋蜘蛛不會在發現阶段替你做协议替換，也不會先請求一次看哪個能通。它只是把連結里的 URL 放進待抓取队列。
所以，如果入口頁里全是 http 連結，搜尋蜘蛛最先發現的仍然是 http 版本。站点已经全站 HTTPS，並不會改變這一步。
真正抓取时，才會遇到 301
当搜尋蜘蛛開始抓取這個 http URL，你的服務器通常會返回 301，把它跳到 https 地址。搜尋蜘蛛會跟随這個重定向，最终請求並抓取 https 頁面。對搜尋引擎来说，http 版本多數情况下只是一個重定向记錄，最终内容归到 https 目标上。
但要注意，這個過程不是没有成本：
- 發現後到最终抓取，多了一跳，時間上可能略慢；
- 一次重定向會消耗一次請求，如果入口頁里大量連結都是 http，抓取開销會明顯增加；
- 如果 301 鏈不是單跳，而是 http 到非 www，再到 https www，搜尋蜘蛛要跟更多跳，浪費更嚴重；
- 日誌里會同时出現 http 和 https 的记錄，如果只看狀態碼，容易誤判成两個頁面。
對蜘蛛池和入口頁的實际影响
入口頁的作用是让搜尋蜘蛛發現目标 URL。如果連結寫成 http，搜尋蜘蛛确實能發現，也能通過重定向跟到最终頁面，所以不至于“完全抓不到”。但站在站点运营角度，這不是最優做法。
一方面，搜尋蜘蛛的抓取配額有限。每個 http 連結都多一次重定向請求，等于把一部分抓取预算花在了跳轉上，而不是花在内容頁上。連結數量少时無所谓，如果入口頁有几百上千個連結，差距就會顯現。
另一方面，URL 發現和抓取統計會變得混乱。你在日誌里看到 http 目标被频繁請求，可能以為它在被抓取，實际上它只是被 301 带走，真正抓的是 https 版本。分析蜘蛛行為时，最好把重定向單獨归類。
發現阶段看字面 URL，抓取阶段才看服務器响應。把這两步分開，很多“搜尋蜘蛛為什么没抓”的疑問會更容易定位。
入口頁連結怎么寫更省事
如果站点已经全站 HTTPS，建议入口頁、蜘蛛池、sitemap 和站内連結统一使用最终 https 地址，不要混用 http。具体可以按下面几点检查：
- 入口頁連結：直接寫 https 最终 URL，不要寫 http 再靠 301 跳。
- sitemap：里面列出的 URL 與入口頁、canonical 保持一致，都用 https 最终版本。
- 301 規則：如果必须保留 http 兼容，确保 http 直接 301 到 https 最终地址，避免 http 到非 www、再到 https www 的多跳鏈。
- 日誌分析：把 301、302 請求單獨統計，不要和 200 抓取混在一起看。
- 批量检查：入口頁數量多时，用抓取工具或脚本抽查連結，找出還在寫 http 的頁面。
几個常见誤区
誤区一：搜尋蜘蛛會自動把 http 換成 https 去發現。不會。它按連結字面發現，协议替換是通過抓取重定向完成的。
誤区二：全站 301 配好了，連結寫 http 也無所谓。能跳轉是一回事，浪費抓取预算是另一回事。連結量越大，越建议直接寫最终地址。
誤区三：日誌里看到 http 被抓，就說明 http 頁面會被收錄。多數情况下它只是重定向记錄，最终归到 https 目标，不能简單当作獨立頁面看待。
總结一下：入口頁連結寫成 http，搜尋蜘蛛會先發現 http，再通過 301 跟到 https 抓取。它能完成任務，但會多一次跳轉、多一份統計噪音。把入口頁、sitemap 和站内連結统一成最终 https 地址，是更省抓取预算的做法。