做蜘蛛池入口頁时，一個很常见的纠结是：里面的目标連結到底该寫相對路径（例如 /a/b.html）還是绝對路径（https://example.com/a/b.html）。從搜尋蜘蛛的角度看，這两種寫法本身没有優劣，關键在解析结果是否正确、是否唯一。
搜尋蜘蛛怎么處理連結地址
搜尋蜘蛛抓取 HTML 後，會按 HTML 規范把 href 解析成完整 URL。解析时以目前頁面的地址為基准，如果頁面里有 base 标簽，則以 base 标簽為准。也就是说，相對路径不是“抓不到”，而是“取决于基准地址對不對”。
只要最终拼出来的完整地址是通的、返回正常狀態碼、内容可以訪問，相對路径和绝對路径在發現层面没有区別。
相對路径容易踩的坑
- base 标簽寫错：頁面里存在 base href 时，所有相對路径都以它為准，寫错會让整頁連結指向同一個错誤地址。
- 目錄层級算错：入口頁在 /pool/ 下，寫成 a/b.html 會解析成 /pool/a/b.html，與预期不同；寫 ../a/b.html 才回到上一級。
- 省略结尾斜杠：把 /a 当成目錄时，實际解析基准可能變成 /，拼接结果和想象中不一样。
- 协议相對寫法：以双斜杠開头，會繼承目前頁面的协议，頁面协议變動时目标地址也跟着變。
- 大小寫和编碼：部分服務器對路径大小寫敏感，中文、空格未做 URL 编碼时容易返回 404。
真正影响的是去重，不是能不能抓
绝對路径的好處不在抓取，而在寫法统一。同一個目标 URL 如果同时以多種形式出現——带 www 和不带 www、http 和 https、带不带末尾斜杠、參數顺序不同、路径里混入多余斜杠或 ../——搜尋引擎通常會做归一化，但归一化不是萬能的。寫法越乱，被当成多個地址分別抓取的概率越高，抓取预算也就更分散。
判断标准很简單：把入口頁源碼里所有連結提取出来，做一份去重前的清單，看同一目标出現了几種寫法。寫法不收敛，問题通常不在蜘蛛，而在站内連結管理。
實操建议
- 入口頁優先使用绝對路径，尤其是跨目錄、跨子域名部署时，减少基准地址带来的不确定性。
- 确實要用相對路径，就不要在頁面里放 base 标簽，或确保 base 與頁面所在目錄一致。
- 统一协议、统一域名寫法（www 或不带 www 固定一種）、统一末尾斜杠規則。
- 同一目标 URL 在入口頁里只出現一次，避免同頁重复。
- 上线後用日誌和抓取记錄核對：蜘蛛實际請求的地址，是否和你以為的一致。
几個常见疑問
相對路径會被当成内部連結而区別對待吗？
不會。搜尋引擎按解析後的完整地址判断归属，寫法不影响内外鏈判定。
入口頁放在子目錄，用相對路径會更容易被發現吗？
發現與否和路径寫法没有直接關系，更多取决于入口頁本身被訪問的频率，以及頁面里的連結是否可解析。
改寫法能提升收錄吗？
改寫法解决的是解析错誤和重复抓取，属于减少损耗。收錄還受内容质量、站点整体情况影响，不要把連結寫法当成收錄開關。