为什么入口页的 URL 形态值得单独处理
蜘蛛池里，入口页通常批量生成、批量上线。很多人把注意力放在内容差异和链接关系上，却忽略了一个更基础的问题：同一个入口页，蜘蛛可能看到好几个地址。例如 .../page 与 .../page/、.../Page、.../page?from=abc，如果服务器都返回 200，蜘蛛很容易把它们当成独立 URL。结果就是抓取预算被拆散，日志里多出一批重复请求，后续判断页面质量时也会受到干扰。
入口页常见的几种 URL 分叉
- 大小写：路径里的字母大小写不同，服务器若不做统一跳转，可能返回两个 200。
- 结尾斜杠：目录带不带结尾斜杠，很多程序会同时可访问。
- 协议与主机名：http 与 https、带 www 与不带 www，如果都解析到同一站点，需要明确一个规范版本。
- 查询参数：追踪参数、排序参数、分页参数、会话 ID 等，最容易批量制造重复地址。
- 路径细节：重复斜杠、URL 编码差异、默认端口号，也可能产生不同写法。
参数是入口页里最容易失控的一类
入口页为了批量生成，有时会带上参数，比如按模板 ID、地区、页码来区分。这类地址不是不能用，但要分清两类参数：一类是决定页面内容的，比如分页参数；另一类是只用于来源追踪的，比如 utm 系列。后者对蜘蛛没有意义，却会让同一页面出现大量变体。比较稳妥的做法是：追踪参数不写进入口页的正式地址，或在服务器端做 301 跳转到不带追踪参数的版本。分页参数则可以保留，但要在页面里给出清晰的上一页、下一页关系，避免蜘蛛在参数组合里绕圈。
统一 URL 的检查顺序
- 先列出入口页批量生成时可能产生的地址写法，标出哪些是规范版本。
- 检查服务器是否把非规范版本 301 到规范版本，而不是全部 200 返回。
- 检查页面里的内部链接、sitemap、提交给搜索平台的地址，是否都指向同一个规范版本。
- 日志里抽样看爬虫实际抓了哪些变体，重点看带参数的请求和大小写不同的请求。
- 对确实无意义的参数，可以考虑在服务器层跳转合并，而不是简单用 robots.txt 屏蔽。屏蔽只能阻止抓取，不能解决重复地址在索引层面的问题。
canonical 能用，但别把它当成唯一手段
canonical 标签可以告诉搜索引擎哪个地址是首选版本，但它是一种提示，不是强制指令。如果站内链接、重定向和 sitemap 各自指向不同版本，canonical 的效果会被削弱。更稳的组合是：服务器 301 为主，站内链接和 sitemap 保持一致，canonical 作为补充。对于入口页这种数量多、更新快的页面，从生成规则上就统一 URL 形态，比上线后再补救省事得多。
入口页的 URL 形态是蜘蛛认识这个页面的第一层身份。地址越干净，后面判断内容、分配抓取配额的干扰就越少。
给站点运营的几条实用建议
- 批量生成入口页时，先定一份 URL 规则：是否小写、是否带结尾斜杠、是否允许查询参数。
- 入口页尽量使用短而稳定的路径，不要把多个参数塞进正式地址。
- 同一批入口页上线后，用日志核对爬虫抓取的地址形态，发现分叉及时收敛。
- 如果目标页与入口页跨域，也要检查目标页一侧是否存在类似的 URL 重复问题。
- 不要为了增加 URL 数量而故意制造参数变体，这通常只会增加维护成本和无效抓取。
URL 规范化不是一次性的工作。入口页扩量、模板调整、服务器迁移时，都可能重新引入地址分叉。把 URL 形态检查放进上线流程，比等到日志里出现大量重复请求再回头处理更轻松。