站点运营里有一类很隐蔽的重复抓取问题：内容只有一份，地址却有好几个。访问者从任意一个都能正常打开，搜索蜘蛛却会把它们当成不同的页面分别抓取。抓取预算被摊薄，页面之间互相竞争，收录和排序都容易变得不稳定。最常见的两个来源，就是 URL 大小写和末尾斜杠。
大小写：服务器通常不会自动帮你统一
Linux 环境下的文件系统区分大小写，Nginx、Apache 默认也按大小写匹配路径。这意味着 /News/2024 和 /news/2024 很可能是两个都能返回 200 的地址。如果站点地图里写的是小写，页面内链里有几处写成大写，蜘蛛顺着内链爬，就会多抓一份。
更麻烦的是路径中段的大小写。比如 /products/SEO-Guide 和 /products/seo-guide，看起来只是字母区别，实际就是两个 URL。爬虫不会帮你合并，它只认字符串。
末尾斜杠：目录与文件是两种语义
带斜杠通常表示一个目录索引，不带斜杠表示一个具体资源。大部分服务器会做自动跳转，但这个跳转是否发生、跳成 301 还是 302，取决于配置。有些站点两个地址都返回 200，加上页面里的 canonical 又写成第三种形式，问题就叠加了。
判断方法很简单：用不带参数的方式分别请求两种形式，看状态码和最终落点。如果两个都是 200，说明需要处理。
还有哪些类似的重复入口
- 直接暴露的 index.html、index.php、default.aspx
- 同一条路径在带与不带 www、HTTP 与 HTTPS 下都能访问
- 分页、排序、筛选参数拼接出的新地址
- 大小写混用的静态资源路径，被当作独立页面抓取
这些情况的共同点是：它们都能返回正常内容，所以从表面上很难发现，只有看日志或者做全站地址盘点才会暴露出来。
处理顺序建议
- 先定规范地址。给每个页面确定唯一的写法，包括大小写、末尾斜杠、协议和主机名。
- 在服务器层合并。把其余形式统一 301 到规范地址，尽量一步到位，不要形成 A 到 B 再到 C 的跳转链。
- 页面上自引用 canonical。canonical 指向的地址要和实际返回的地址完全一致，包括斜杠和大小写。
- 统一站内入口。内链、面包屑、站点地图、RSS、分享链接都改成规范写法。
- 观察一段时间。从服务器日志里看这些地址的抓取频次是否下降，旧地址是否逐渐被替换。
几个容易踩的坑
- 大小写重定向用了 302，蜘蛛会反复回来确认，收敛更慢。
- 重定向时保留了原始路径的大小写，导致跳转目标又是一个新地址。
- 只在首页做了规范化，栏目页和详情页各写各的。
- CDN 把 301 缓存住了，配置改完没刷新，前端表现和实际不一致。
- canonical 写成绝对地址时协议或主机名和实际请求不符，等于没写。
日常可以固定做的检查
- 新上线栏目时，检查一遍 URL 的大小写和斜杠写法。
- 定期抽样请求列表页、详情页的变体地址，看是否都 301 到同一处。
- 站点地图生成后，检查里面有没有混入大小写不一致的地址。
- 改版或换服务器后，重点复查伪静态规则和自动跳转行为。
URL 规范化不是一次性任务，而是每次新增栏目、改动服务器配置时都要过一遍的基础动作。地址统一了，抓取和索引才有稳定的前提。