入口页的 URL 是蜘蛛接触到的第一手信息，它影响抓取路径、去重判断，也决定你后面看日志时能不能快速归类。URL 结构算不上什么玄学，更多是工程规范问题：定得早、定得稳，后面省很多事；定得乱，日志会变成一团浆糊。
层级与深度：扁平一些，但不必全平铺
蜘蛛沿着链接逐层展开，路径越深，从入口页爬到目标页需要经过的跳数越多，抓取预算被消耗在中间环节的概率也越大。实践中把入口页放在两到三层之内比较省心，例如 /p/192837.html 或 /list/192837.html 这类形式。
也不必把所有页面都塞进根目录。根目录文件过多，会让部分服务器环境下的目录操作、备份和人工排查变得麻烦，日志按目录聚合时也没有抓手。
- 列表页到详情页，通常两层就够，不要再人为加中间层。
- 同一目录下的文件数量控制在几千以内，便于按目录抽样检查。
- 不要为了看起来有层次，造一串无意义的目录名。
参数式还是伪静态：先看维护成本
?id=123 这类动态 URL 本身不会导致蜘蛛拒绝抓取，前提是参数值稳定、数量可控。真正麻烦的是无意义参数：跟踪参数、会话 ID、排序参数、随机数，它们会让同一个页面裂变成几十个 URL，蜘蛛抓到的大多是重复内容。
伪静态 /123.html 的好处是日志统计方便、CDN 缓存规则简单、看起来整齐；代价是要维护 rewrite 规则，而且容易和真实存在的静态文件路径打架。选择哪种，取决于你的服务器环境和运维习惯。
决定抓取效率的是 URL 的唯一性与稳定性，不是结尾是 .html 还是带问号。
如果同一个页面可以通过多种 URL 访问，比如大小写不同、带不带结尾斜杠、带不带 index.php，就选一个作为规范形式，其余的用 301 统一过去。
URL 里放什么、不放什么
- 可以放：稳定的数字 ID、短拼音或英文词，便于人工定位和对账。
- 可以放：统一的前缀，比如 /z/ 或 /n/，方便在日志里按目录筛选。
- 不建议放：时间戳、随机串、无意义的长哈希，排查时基本没法对应到具体页面。
- 不建议放：大段中文或关键词堆砌，这类拼接对路径判断没有帮助，反而增加编码出错的概率。
- 需要留意：如果入口页与目标站做了隔离，URL 命名习惯最好也别完全一致。
批量变更 URL 的代价
入口页一旦被抓取过，改 URL 近似于换了一个新页面，原有的抓取记录需要时间重新匹配。批量改 URL 常见的结果是：旧地址继续被访问并返回 404，新地址还没被重新发现，一段时间内整体抓取量下滑。
确实需要变更时，把旧地址 301 到新地址，并保持足够长的时间，同时记录变更日期，事后用日志对比前后抓取量。不要在同一周里反复调整同一批页面。
用日志验证结构是否合理
结构定完不是终点。看几天的蜘蛛访问日志，关注三件事：抓取的 URL 是否集中在少数几个模板上；404 与 301 的比例是否异常升高；同一内容的多个 URL 变体是否被反复抓取。如果变体抓取量明显偏多，说明规范化还没做到位。
一份可以照做的清单
- 确定一个 URL 模板，写进生成脚本，之后不要随意更改。
- 保证同一内容只有一个可访问地址，其余 301。
- 路径深度控制在三层以内，避免深层目录链。
- 剔除无意义参数，只保留必要的标识。
- 变更前先评估，变更后保留 301 并持续跟踪日志。
这些做法不会直接带来什么神奇效果，它们的价值在于减少抓取浪费，让后续的排查和统计有据可依。