在蜘蛛池入口頁里挂目标 URL 时，連結寫法常被忽略。有人寫相對路径，有人寫绝對路径，還有人把域名漏掉或加上多余後缀。對搜尋蜘蛛来说，連結能不能被發現是一回事，能不能被解析成你期望的地址是另一回事。解析错了，後面抓取和收錄自然無從谈起。
搜尋蜘蛛如何确定連結的基准地址
搜尋蜘蛛解析 HTML 时，會先确定目前文档的基准 URL。預設情况下，這個基准就是入口頁自身被訪問的 URL，包括协议、域名、端口和路径。随後遇到相對路径，就按規則拼到基准 URL 上；遇到绝對路径，則直接采用。也就是说，同一個 相對路径 在不同域名、不同路径层級下，可能被解析成完全不同的目标地址。
如果頁面里寫了 base 标簽，基准 URL 會被它覆盖。蜘蛛池入口頁通常由程序批量生成，模板里残留一個 base 标簽，就可能让整頁連結全部指向另一個主机。
相對路径在蜘蛛池场景下容易出偏差
- 多域名訪問：入口頁绑定多個域名或泛解析时，相對路径會跟随目前訪問域名解析。搜尋蜘蛛從一個域名進来，目标 URL 可能被解析到另一個域名的路径上。
- 代理和镜像：通過反向代理、镜像站訪問入口頁，文档 URL 可能變成代理域名，相對路径也會跟着變。
- 路径层級不同：入口頁放在根目錄和放在子目錄下，相對路径拼接结果不同。少寫一個斜杠，也可能落到父級目錄。
- 末尾斜杠和大小寫：服務器對 /a 和 /a/ 的處理不一致时，相對路径的解析基准也會變化。
- base 标簽干扰：模板里一個未清理的 base 标簽，會改變整頁所有相對連結的解析结果。
绝對路径更稳，但寫法要统一
在蜘蛛池入口頁里，把目标 URL 寫成完整的绝對地址，通常更省心。搜尋蜘蛛不需要再猜基准 URL，看到的地址就是你要提交的地址。但绝對路径也不是随便寫就行，下面這些细节仍然會造成多個網址版本：
- 协议不统一：有的寫 http，有的寫 https。
- 主机名不统一：带 www 和不带 www 混用。
- 末尾斜杠不统一：同一路径出現两種形式。
- 參數编碼不统一：空格、中文、特殊符号编碼方式不同。
- 大小寫不统一：路径部分大小寫混寫，在部分服務器上會被当成不同地址。
這些差异未必會阻断發現，但會让搜尋蜘蛛面對多個相似 URL，增加去重和規范化判断的成本。
實操建议
- 入口頁中的目标 URL 優先使用完整绝對地址，协议、域名、路径寫全。
- 统一主域名和协议，决定用不用 www、用 http 還是 https 後，不要在同一批入口頁里混用。
- 检查模板里是否残留 base 标簽；如果不需要，直接删掉，避免影响整頁連結解析。
- 路径末尾斜杠按目标站實际規則统一，不要一會儿带一會儿不带。
- 带參數的 URL 先做编碼和去重检查，避免同一目标出現多個參數顺序或编碼版本。
- 用搜尋蜘蛛的抓取測試工具或服務器日誌驗證：蜘蛛實际請求的地址，是否和你寫在入口頁里的地址一致。
常见誤区
只要入口頁返回 200，連結寫法無所谓。事實上，連結被發現只是第一步，解析成正确地址才有後續。
另一個誤区是認為相對路径一定不能用。如果入口頁只在一個固定域名、固定路径下訪問，且没有 base 标簽干扰，相對路径也能正常工作。問题在于蜘蛛池入口頁往往有多個訪問入口，环境並不固定，這时绝對路径更可控。
連結寫法不會直接决定收錄结果，但它會影响搜尋蜘蛛看到的 URL 是否清晰、唯一。把入口頁里的地址寫規范，至少能减少解析歧义，让發現和抓取流程少一层障碍。