做蜘蛛池入口页时，很多人把精力都放在内容和链接上，忽略了 URL 本身。事实上 URL 是蜘蛛抓到一个页面时最先读到的信息，它既要能唯一标识页面，也要能让人和机器看出这页大概在什么位置。结构没理顺，后面铺得越多越乱。
URL 的两个基本职责：去重与定位
第一是去重。同一个页面如果存在多个可访问地址，比如带 www 和不带 www、带尾斜杠和不带尾斜杠、参数顺序不同，蜘蛛会当成多个页面处理，抓取额度被分摊，页面之间的关系也会变模糊。
第二是定位。目录结构能表达页面之间的归属关系，蜘蛛顺着目录和链接往下走时，更容易判断哪些页面属于同一批，哪些是相对独立的内容。
层级：尽量控制在三到四层以内
入口页不需要太深的目录。像四层往上的结构，一方面书写和核对成本高，另一方面批量管理时很容易出错。比较实用的做法是把同类入口页放在同一层目录下，用文件名区分，例如用统一的前缀加流水号命名。
规则化命名的好处是肉眼就能看出这一批页面是不是同批次，出问题时方便定位，也方便批量替换。
参数：能静态化就静态化
动态参数本身不是问题，问题是参数太多太乱。常见的三种情况：
- 排序与筛选参数：同一批数据因为 sort、order、page 不同生成大量 URL，内容高度相似。
- 跟踪参数：utm、from、ref 之类，对页面内容没有影响，却会生成新的地址。
- 无意义参数：仅用于程序内部传递、对访问者没有任何意义的键值对。
处理原则很简单：不影响页面内容的参数，最好不出现在链接里。如果确实需要，尽量固定顺序、精简数量，并考虑用 canonical 指向不带参数的主版本。
大小写、结尾斜杠与扩展名
这三件小事经常被忽略，但会直接制造重复地址：
- 大小写：同一路径的大小写形式在多数服务器上是两个地址。统一用小写是最省事的做法。
- 尾斜杠：带斜杠和不带斜杠要统一，选一种并全站保持一致。
- 扩展名：.html、.htm、无扩展名不要混用，同一批入口页统一一种风格。
命名：纯数字、纯字母还是拼音
三种写法各有取舍。纯数字 ID 最短、最容易批量生成，但对人没有含义；拼音或英文 slug 可读性好，但要注意别堆关键词，也别写得太长。折中的做法是流水号加一段简短标识，既能唯一定位，也不至于完全看不懂。
URL 里堆砌关键词并不会带来额外好处，反而容易让整批页面看起来像是同一个模板批量复制出来的。
中文与特殊字符要不要出现
URL 里出现中文会被转义成一长串百分号编码，既不好读，也容易在复制粘贴时出错。入口页这类需要批量处理的页面，建议只用小写字母、数字和连字符，把中文字符留给页面标题和正文。
批量铺页时的几条建议
- 先定好命名规则再开始批量生成，避免中途改规则导致新旧地址混在一起。
- 每一批入口页的 URL 规则保持一致，方便后续用访问日志核对哪些被抓过、哪些没被抓过。
- 预留扩展空间，例如把批次号单独占一段，后续加量时不用推翻已有结构。
- 生成完先跑一遍站内工具或爬虫，检查有没有重复地址和死链。
上线前的检查顺序
先把 URL 规则定下来，再确认每一类地址都能正常访问、返回码正确，最后才谈投放和观察抓取情况。顺序颠倒的话，等发现大量重复地址时，前面的工作基本要重做一遍。