URL 结构为什么会拖慢蜘蛛的发现速度
蜘蛛在决定是否抓取一个地址之前，要先做几件事：判断这个 URL 是不是新的、是不是和已有页面重复、值不值得分配抓取资源。如果站点的 URL 写法混乱，同一个页面有多种地址、参数随意组合、层级深浅不一，蜘蛛就要把更多成本花在去重上，真正分给新目标页的抓取机会自然变少。所以入口页的 URL 结构不是审美问题，而是发现效率问题。
目录层级：浅一点，但别只追求扁平
层级越深，蜘蛛从入口走到目标页需要的跳数越多，中途走丢的概率也越高。一般建议入口页放在根目录或一级目录下，目标页控制在 2 到 3 层，超过 4 层的地址尽量通过列表页或聚合页做一次收拢。
但扁平不等于把所有页面都塞到根目录。层级本身携带信息，/a/xxx 与 /b/xxx 能告诉蜘蛛这两批内容属于不同集合。真正要避免的是人为加壳，比如为了堆关键词硬塞三层没有意义的目录。
参数与伪静态：哪种更适合被发现
带参数的动态地址不是原罪，问题出在参数的写法上。
- 参数顺序不固定：?a=1&b=2 与 ?b=2&a=1 会被当成两个地址，产生重复。
- 跟踪参数混入：utm_source、from、ref 这类参数会为同一个页面生成大量 URL。
- 与内容无关的参数：排序、每页条数、显示方式，如果都参与 URL 生成，重复页面会成倍增加。
做法是：只保留真正决定内容的参数，跟踪类参数用 robots 或 canonical 处理，参数顺序在程序里固定下来。
伪静态要注意的两个坑
伪静态只是把地址写得更像静态页，它本身不会提高抓取优先级。如果重写规则写得不好，容易踩两个坑：一是分页或筛选参数被重写成看似静态的地址，蜘蛛会沿着规则一路生成大量无意义页面；二是规则冲突导致本该返回 200 的地址变成 404 或 500，蜘蛛试过几次之后就会降低对这类地址的信任。
一致性：大小写、末尾斜杠、协议
同一个页面出现 /Page、/page、/page/、http 与 https 两套，对蜘蛛来说都是新地址。这种重复不会带来更多发现机会，只会分散抓取量。建议在服务器层面用 301 把变体统一到一个规范地址，并在入口页里始终使用同一种写法，不要这次带斜杠下次不带。
URL 里的关键词与长度
地址中包含关键词对理解页面主题有一点帮助，但影响有限，不值得为此牺牲可读性和稳定性。更实际的是控制长度：过长的中文或层层嵌套的参数，容易出现编码和截断问题；用拼音、英文或数字组成的短地址，蜘蛛解析和日志排查都更方便。
唯一性：一条目标链接只对应一个地址
如果同一个目标页在入口页里用不同地址出现多次，蜘蛛会先去重再抓取，等于浪费了展示位置。发布前可以用一份简单的对照表检查：每条待发现链接是否只有一种写法，是否带了多余的参数，是否与站内已有的 URL 冲突。
URL 结构的目标不是好看，而是让蜘蛛用最少的判断成本确认：这是一个还没抓过的新地址。
落地检查清单
- 入口页与目标页的层级是否控制在 3 层以内，深层内容有没有列表页收拢。
- 参数是否只保留决定内容的字段，跟踪参数是否已处理。
- 大小写、末尾斜杠、http 与 https 是否已用 301 统一。
- 伪静态规则是否会产生无限分页，或误伤正常地址。
- 同一条目标链接在入口页里是否只有一种写法。
- 地址长度是否可控，中文是否已正确编码。
这几项做完，URL 结构层面的重复和歧义基本就清掉了。剩下的发现效率问题，才轮到入口页数量、更新节奏这些变量去调。