同一页面出现多个地址，通常不是一次事故
做站点运营时，经常会在日志或抓取结果里看到同一篇内容被蜘蛛用不同 URL 反复访问：/News/2024/summary 和 /news/2024/summary，或者 /about 与 /about/。它们指向同一份 HTML，但在服务器眼里是两条路径，在蜘蛛眼里也可能是两个候选页面。这类问题往往不是某次改版造成的，而是模板、路由、内链、外链多年累积的结果。
它带来的直接后果是抓取请求被分摊、页面之间的内链关系变得模糊。清理之后通常能减少一部分重复抓取，但别指望它单独解决收录问题，它属于打地基的工作。
大小写：Linux 服务器上就是两条路径
Windows 的文件系统默认不区分大小写，Linux 区分。站点从本地环境迁到线上后，如果模板里把目录写成 /Product/、内链写成 /product/，在 Linux 上就是两条路径：可能一条正常返回、一条 404，也可能因为伪静态规则把两条都解析到同一个页面，谁也不知道哪条会被蜘蛛记住。
- 目录名和文件名尽量只用小写字母、数字和连字符，新建内容时就把规则定死。
- 已经存在的混合大小写路径，保留一个正式版本，其余统一 301 过去。
- 注意重定向目标本身也要是小写版本，避免出现 A 到 B 再到 C 的跳转链。
结尾斜杠：两种约定，只能选一种
结尾斜杠的处理有两种常见约定：目录型地址（/news/）带斜杠，文件型地址（/news.html）不带。真正的麻烦是两者混用，同一个列表页既能通过 /news 打开，也能通过 /news/ 打开，服务器还可能对其中一种做 301、对另一种直接返回 200。
约定本身没有绝对的对错，关键是全站一致：内链、sitemap、canonical、导航菜单、RSS、接口返回的链接，都用同一种写法。只要有一处不一致，就相当于在站内给非正式版本留了一条入口。
其他容易漏掉的地址变体
- 默认文档：/index.html 与 / 同时可以访问。
- 默认端口：带 :80 或 :443 的绝对地址被抓到并收录。
- 协议与主机名：http 与 https、带 www 与不带 www 长期并存。
- URL 编码：中文、空格被编码成不同形式，同一个标签页出现多个版本。
- 参数顺序与大小写：排序参数位置不同，生成的地址就不同。
怎么把问题找出来
- 翻服务器日志，把返回 200 的 URL 去重后按路径归类，重点看尾部或主体高度相似的那些。
- 用站内抓取工具遍历一遍，导出所有可以正常访问的地址清单。
- 在搜索控制台的页面报告里，留意重复网页、用户未选定规范网页一类的提示。
- 随机抽查栏目页和详情页，手动敲入大小写不同的地址，看服务器返回 200 还是 301。
统一处理的顺序
先在服务器或 CDN 层做归一化，把非正式版本 301 到正式版本，这一步覆盖面最广，也不用改业务代码。然后回到内容层，统一模板、内链、sitemap 里的链接写法，让新产生的页面天然只有一种形态。canonical 可以留作兜底，但不该当成主要手段：如果服务器本身还在对两个地址返回 200，两边信号容易打架。
判断标准很简单：不管从哪个入口点进来，用户和蜘蛛最终都应该落在同一个地址上，而且这个地址只有一份内容。
改完之后不建议立刻批量提交，先观察几天的日志，确认重定向生效、没有跳转环、也没有把正常页面误伤成 404，再考虑推送新地址。这种清理不会带来立竿见影的效果，但它能让后面所有关于结构、内链和抓取的调整都站在一个干净的基础上。