同一段内容，在蜘蛛眼里可能不止一个 URL。大小写不同、结尾带不带斜杠、是否走默认文档、有没有多余参数，甚至 http 与 https、带不带 www，都会让一个页面裂成好几个地址。对用户来说打开的可能是同一页，对搜索引擎来说却是不同的抓取目标。
常见的“多 URL 同内容”形态
- 大小写差异：/About 与 /about 在部分服务器上返回同一页，但 URL 字符串不同。
- 结尾斜杠：/news 与 /news/ 都可能返回 200，且内容一致。
- 默认文档：/ 与 /index.html、/index.php 同时可访问。
- 协议与主机名：http 与 https、example.com 与 www.example.com 并存。
- 追踪参数：?utm_source=、?ref= 等参数不同，页面内容却一样。
这些形态单独看都很小，叠在一起就会让同一个页面的 URL 数量成倍增加。
为什么收口值得做
蜘蛛的抓取额度有限。同一内容有多个入口，它会重复抓取，真正需要更新的页面反而排不上。索引侧也要做选择：如果多个 URL 都返回 200 且内容相同，搜索引擎会自己挑一个作为规范版本，但挑中的不一定是你希望的那个。站内权重、外链和分享链接也会被分散到不同地址上。
收口顺序：先定规范，再统一信号
- 选定唯一规范 URL。通常选最简洁、最稳定、不需要额外跳转的那个。比如统一用 https + 带 www + 不带结尾斜杠，或者反过来，但要全站一致。
- 服务器层做 301。把大小写变体、带斜杠变体、默认文档、http 版本、非 www 版本，统一 301 到规范 URL。这是最明确的信号。
- 内链只用规范版。导航、面包屑、正文链接、分页链接，全部指向规范地址。内链是蜘蛛最常走的路，这里统一，比事后补救有效。
- sitemap 只放规范 URL。不要把带参数或跳转的地址也塞进去，否则等于主动增加发现入口。
- canonical 作为补充。在页面 head 里声明规范地址，但不要用 canonical 代替 301。尤其跨域或必须保留多个入口时，canonical 是提示，不是强制。
自查时看什么
- 服务器日志里，同一路径的大小写、斜杠变体是否都在被频繁抓取。
- 搜索控制台的“重复网页，用户未选定规范网页”是否集中在某类 URL。
- site 查询或索引报告里，是否出现你不希望被索引的变体地址。
- 页面源码里的 canonical、og:url、内链地址是否一致。
canonical 与 301 不冲突，但优先级不同。能改服务器跳转的，优先用 301；只能发信号的地方，再用 canonical 和 sitemap 辅助。
收口不是一次性的工作。新增栏目、改版、换 CDN 设置时，都可能重新引入大小写或斜杠差异。把规范 URL 写进模板和发布流程，比每次等收录出问题再回头排查更省事。