蜘蛛发现 URL 的主要方式还是跟着链接走。入口页给得多，它就从入口往外扩散；内链铺得顺，深一点的页面也能被摸到。但扩散不是无限的，页面离入口越远，被请求的机会通常越小。
蜘蛛是怎么一层层往外扩的
可以粗略地把抓取理解成广度优先：先抓一批已知 URL，从页面里提取新链接，再把新链接排进队列，回头再抓。这个队列始终装着待处理地址，蜘蛛按自己的节奏往外推。
关键在于，每一层链接都要等上一层的页面被抓完、解析完，才可能进入队列。层级越多，等待越久，中间任何一环出问题，后面的 URL 就可能一直排不上。
层级深带来的三个实际影响
- 发现变慢：新发布的深层页面不会第一时间进入队列，可能几天后才被请求。
- 抓取频次偏低：深层 URL 的重新抓取间隔通常更长，改动后反馈慢。
- 容错变差：中间某一层出现 404、超时或者链接断掉，整条路径后面的页面都会变得难被发现。
这不等于说层级必须压到两三层。内容量大的站点天然需要分类和归档，重点是把重要页面放在更浅的位置，而不是把所有页面都塞进首页。
导航、面包屑和分类页在做什么
这三样东西的作用，是给蜘蛛提供稳定的、每页都存在的路径。
- 主导航：覆盖栏目级入口，决定蜘蛛最先扩散的方向。
- 面包屑：把当前页和上级串起来，让深层页面有一条回到浅层的通道。
- 分类页与标签页：作为聚合入口，把同一主题的内容拉到更浅的层级。
如果导航只是图片或者依赖脚本点击，路径就可能断掉。能点开的普通链接更可靠。
列表页是把深层内容托起来的主要手段
一篇文章纯靠目录层级，可能要四跳才到；挂进一个列表页，跳数就能少一半。列表页的翻页也承担同样作用，但翻页参数不要无限膨胀，页码拉到几百页之后，后面的内容基本没什么抓取价值，反而占用队列。
一个常见做法是列表页只保留最近若干页可翻，更早的内容通过归档页或者按时间切分的目录承接。
链接数量不是越多越好
页面上链接太密，单个链接分到的关注度会下降；链接太少，发现速度又起不来。比较稳妥的思路是：正文里的相关链接控制在几条到十几条，且确实和当前内容相关；页脚的全站链接保持精简，不要堆成一大片。
还有一种容易忽略的情况：同一批 URL 在多个页面反复出现，蜘蛛一遍遍抓却没有新内容。这时可以检查一下是不是模板里挂了太多重复链接。
用抓取日志核对深度分布
层级是不是真的有问题，日志比感觉更可靠。
- 从日志里筛出蜘蛛的请求，按 URL 路径归到不同目录层级。
- 统计每一层的请求次数和去重后的 URL 数，看分布是否断层。
- 挑几个重要页面，看它们第一次被抓到距今多久，更新后多久被重新抓。
- 对照 Sitemap 里的地址，看看哪些长期没被请求，再回到内链上找原因。
如果某一层的 URL 数量很多，但请求量骤降，通常说明这一层缺少稳定的上级入口。
几个务实的调整方向
- 把重点栏目放进主导航和首页可点区域，不要让它们只出现在搜索框后面。
- 给每个内容页配面包屑，确保存在一条从首页到它的链接链。
- 为每个分类维护一个不会失效的列表入口，避免翻页参数无限延伸。
- 在正文里做相关推荐时，优先指向那些长期缺少抓取的页面。
- 定期检查内链里的 404 和跳转链，断掉的路径不会自己修复。
层级深浅没有统一标准，判断依据应该是重要页面能否在合理时间内被发现和重新抓取。与其追求绝对扁平，不如保证关键路径始终有可点的链接、不断裂。