在蜘蛛池入口页里维护目标 URL 列表时，同一个页面经常出现几种写法混用：http 和 https 各写一遍，带 www 和不带 www 各写一遍，有的带结尾斜杠、有的不带，路径大小写也不统一。这些写法在浏览器里通常都能打开同一个页面，但在搜索蜘蛛眼里，它们未必是同一个地址。
搜索蜘蛛是按 URL 字符串分别排队抓取的
抓取调度围绕具体的 URL 字符串进行。入口页里的每个链接会先被解析成绝对地址，再进入待抓取队列。如果同一个页面在入口页里以四种写法出现，搜索蜘蛛很可能把它们当成四个待抓取地址，分别发起请求，分别占用抓取资源。
重复抓取本身不一定会立刻出问题，真正麻烦的是后续：这几个地址各自返回什么状态码、是否发生跳转、页面里的 canonical 指向哪里。如果处理得不一致，原本集中在一个地址上的信号会被分散。
协议写法：http 与 https
如果 http 版本返回 301 跳到 https，搜索蜘蛛会跟到 https 地址，一般不会造成长期重复。但如果两个协议都返回 200 且内容相同，同一份内容就有了两个可访问入口，抓取和后续判断都会变得模糊。入口页里最好只保留目标站实际生效的那一种写法。
主机名写法：带 www 与不带 www
这和协议属于同一类问题。两个主机名都能正常返回 200 时，搜索蜘蛛没有理由自动认定哪个是主站，它会把两者分别抓取。建议在入口页统一成目标站真正对外使用的那一个，另一个通过服务器端 301 收敛过去。
尾斜杠与路径大小写
带尾斜杠和不带尾斜杠的地址，在部分服务器上会返回两个不同结果，有的会 301，有的干脆各返回一份 200。路径大小写同理，很多服务器区分大小写，两个仅大小写不同的地址就是两个资源。入口页生成链接时，最好按目标站实际可访问的形式固定下来，不要凭习惯随手写。
重复抓取会带来哪些实际问题
- 抓取资源被摊薄：同一份内容占用多个抓取名额，入口页数量多时更明显。
- 日志难以分析：分不清实际抓取了哪些地址，排查时容易被表面现象带偏。
- 信号不一致：不同写法返回的标题、canonical、状态码若有差异，判断会更乱。
- 跳转链拉长：写法混用往往伴随多层跳转，增加单次抓取失败的概率。
入口页链接写法的统一清单
- 先确定目标站的主域名和协议版本，把它作为唯一标准写法。
- 入口页里所有链接都写成绝对地址，避免相对路径在不同入口页上解析出不同结果。
- 统一是否带结尾斜杠，按目标站真实可访问的形式来。
- 路径大小写与原站保持一致，不要自行改写或美化。
- 目标站若存在旧写法入口，用 301 收敛到标准地址，而不是让它们继续返回 200。
- 定期用服务器日志或抓取工具核对，看看入口页实际产生了多少种请求地址。
写法混用大多是维护疏忽造成的，不是搜索蜘蛛刻意多抓。把入口页里的地址收敛成一套，通常比事后在目标站反复补 canonical 更省事。
需要说明的是，搜索引擎对 URL 的规范化处理一直在调整，不同写法最终会不会被合并，取决于服务端跳转设置、页面内的 canonical 指向以及内容是否一致。入口页能控制的部分，是尽量少制造有歧义的地址，剩下的交给目标站自己的规范化配置去处理。