入口页的 HTML 里，链接写成什么样，看起来是件很小的事。但搜索蜘蛛解析链接时是按 HTML 规范和 URL 解析规则走的，写法上的细微差别，会直接影响它拿到的是什么地址，以及这些地址会不会被当成同一个页面。
一、相对路径与绝对路径，区别在哪
两种写法搜索蜘蛛都能识别，问题不在于“看不看得懂”，而在于解析结果是否唯一、可控。
- 相对路径（如 /a/b.html 或 ../c.html）会以当前入口页的 URL 为基准拼接。只要入口页本身有多个可访问地址（http 和 https 都能打开、带 www 和不带 www 都能打开），拼出来的目标地址就会跟着分裂。
- 绝对路径写全协议和域名，目标地址固定，不依赖入口页当前用的是哪个地址。规模化的入口页，建议统一用绝对路径。
- 还有一种容易忽略的情况：入口页实际在 /dir/ 目录下，但外部用不带斜杠的 /dir 访问、服务器又做了跳转时，相对路径的解析基准就可能发生变化。
二、协议、www、末尾斜杠不一致
http 与 https、www 与裸域、末尾带不带斜杠，在技术上可能是不同的 URL。搜索蜘蛛不会自动帮你合并，它看到几个地址就当成几个地址排队。
- 同一个目标页，入口页里有的写 https、有的写 http，等于送出去两个地址。
- 末尾斜杠同理，/page 和 /page/ 是两条记录。
- 处理方式不只是入口页统一，服务器端也要用 301 把非规范地址重定向到规范地址，而不是全部返回 200。
三、大小写与特殊字符
URL 路径部分在多数服务器上区分大小写，/Page 和 /page 可能是两个页面，也可能其中一个直接 404。入口页里如果大小写混写，就会出现一部分链接落到错误地址。带中文、空格、& 等字符的地址需要做 URL 编码，未编码的地址在解析时容易被截断，最终请求到的页面和预期不一致。
四、链接模板的一致性
如果入口页由程序批量生成，建议把链接模板固定下来：统一协议、统一域名前缀、统一末尾斜杠规则、统一编码方式。这样做的价值不在于“提高抓取量”，而在于减少无效的重复地址，让抓取用在真正的页面上。
搜索蜘蛛对相对路径的支持没有问题。出问题的通常不是它看不懂，而是入口页自身存在多个可访问地址，导致解析结果不稳定。
五、可以按这个顺序自查
- 打开入口页源码，逐条看链接是绝对地址还是相对地址。
- 用 http/https、带 www/不带 www 分别打开入口页，看同一个链接拼出来的结果是否一致。
- 检查服务器是否把非规范地址 301 到规范地址，而不是全部返回 200。
- 抽查带参数、带中文、带空格的链接，确认返回的是 200 而不是 404 或 500。
- 在服务器日志里找到搜索蜘蛛抓入口页的记录，看它接下来请求了哪些地址，和源码里的链接是否对得上。
这些检查都不复杂，但能挡掉一部分“链接明明写了、蜘蛛却没走到”的情况。链接写法不决定收录结果，它只决定搜索蜘蛛拿到的是不是一个干净的地址。