启用 CDN 后，很多站点会同时存在多个可访问同一份内容的主机名或 URL 形态：加速域名、回源域名、带 www 与不带 www、HTTP 与 HTTPS、带端口号的测试域名等。对搜索引擎蜘蛛来说，这些都是彼此独立的 URL 入口。一旦内部链接、Sitemap 或重定向里混用了不同形态，抓取路径就会被拆散，日志中常见的表现是同一篇文章被反复抓取、边缘缓存频繁未命中。
一、抓取路径分散的常见来源
- HTML 中的绝对链接不统一：模板、编辑器、富文本粘贴内容里残留旧域名或回源域名。
- 重定向目标不规范：301 跳转的目标写成 CDN 临时域名，而不是规范域名。
- Host 头处理过于宽松：源站对任意 Host 都返回 200，蜘蛛通过其他域名也能拿到完整页面。
- Sitemap 与 Canonical 不一致：Sitemap 里写 A 域名，页面 Canonical 写 B 域名。
- 协议与端口未收敛：HTTP 与 HTTPS、不同端口同时可访问且没有跳转。
二、如何确认问题确实存在
最直接的方法是取一段时间（例如 7 天）的服务器或 CDN 访问日志，按 Host 分组统计蜘蛛请求量与独立 URL 数。如果同一个路径在多个 Host 下都有稳定抓取量，说明入口已经分散。再抽取几条典型 URL，用带 Host 头的请求对比响应内容与状态码，检查是否存在内容相同、URL 不同的情况。
判断标准不是“某个域名能不能访问”，而是“蜘蛛是否把它当成一个独立的可索引入口在抓取”。
三、收敛抓取路径的落地做法
- 确定唯一规范域名，其余形态做 301 永久跳转，跳转目标一次到位，避免 A→B→C 的多跳链。
- 模板输出的内链与资源引用统一使用规范域名，减少人工编辑时带入的旧域名。
- Canonical、Open Graph、Sitemap、RSS 中的 URL 全部对齐到同一形态，包括大小写与尾斜杠。
- 源站对非规范 Host 返回 301 或直接拒绝，不要对任意 Host 都返回 200。
- CDN 缓存键归一，把协议、Host、查询参数中的无效字段剥离，降低因 URL 形态不同造成的重复回源。
- robots.txt 在各域名下保持一致，避免某个边缘域名放行、主域名限制造成的抓取指令冲突。
四、验证与日常监控
调整后不必期待立刻见效，抓取路径的切换通常需要一段时间。可以从三个指标观察：非规范 Host 的蜘蛛请求占比是否下降、单页被重复抓取的次数是否收敛、边缘缓存命中率是否回升。把这三项加入日常巡检表，每次上线新模板或更换 CDN 节点时重新核对一遍，比事后排查更省成本。
需要提醒的是，路径收敛只能减少无效入口，让已有的抓取资源更集中，它本身并不决定内容是否被收录。内容质量、更新节奏与站点整体可访问性依然是前提。