蜘蛛池里放的是入口页，但真正想被发现的往往是目标页。蜘蛛从入口页出发，沿着链接一层层往下走，这中间隔了几跳，就是链接深度。它不直接决定收录结果，却会影响蜘蛛有没有机会走到那一页。
蜘蛛不是无限往下爬的
搜索引擎给每个站点的抓取配额是有限的。蜘蛛进入一个入口页后，会先抓当前页，再挑一部分链接继续抓。层级越深，被挑中的概率越低，因为前面还有大量同级链接在排队。常见的现象是：第一层链接抓取比例较高，第三层之后明显衰减。
蜘蛛还有回头再抓的机制。如果某一层长期没有新内容，或者返回异常，它可能降低对该分支的访问频率。所以深度问题往往不是完全爬不到，而是爬得慢、爬得少。
入口页到目标页的典型层级
- 第一层：入口页直接指向目标页，一跳到达。
- 第二层：入口页 → 栏目页或列表页 → 目标页。
- 第三层：入口页 → 栏目 → 子栏目 → 目标页。
- 再深处：还要经过分页、标签页、归档页才能到达目标页。
一般建议把重要的目标页控制在三跳以内。超过四跳，就该检查一下是不是绕了不必要的弯路。
深度浅不等于结构好
有些站点为了压低深度，把几百个链接全铺在入口页上。这样第一层确实浅了，但单页链接过多，蜘蛛分配到每条链接上的注意力反而下降，页面本身也容易显得像纯链接集合。
深度是路径长度，链接密度是一个页面上有多少出口，这两件事要放在一起看，只看其中一个都容易走偏。
容易把蜘蛛带偏的几种结构
只留下一页的分页链
列表页分页如果只保留下一页按钮，蜘蛛会一直顺着往后翻，翻到第十几页时，路径已经很长了，而后面这些页面上的链接价值并不高。抓取量被消耗在后段，前面真正需要抓的目标页反而被挤掉。
标签页与归档页
标签页和归档页很容易生成大量相似的路径，同一个目标页可以通过多条深链到达。蜘蛛会重复抓取，日志里同一 URL 反复出现，但实际可用的路径并没有增加。
目录之间的循环跳转
多个入口页互链，或者列表页与详情页互相回链，就形成了环。蜘蛛在里面绕圈，抓取预算被消耗在已经抓过的页面上，不容易触达新的内容。
落地的几条做法
- 给重要的目标页留一条从入口页出发的最短路径，减少中间的过渡层。
- 控制单页导出的链接数量，次要链接可以放到更深一层，或者折叠起来。
- 分页使用明确的关系标记，或者提供查看全部的方式，避免无限翻页。
- 标签页、归档页如果价值不高，可以用 noindex 或 robots 限制，减少重复路径。
- 定期看抓取日志，统计目标页被访问时的来源层级，而不是只盯着抓取总量。
怎么判断深度是否合理
可以在日志里筛出目标 URL 的抓取记录，看看蜘蛛是从哪一层过来的。如果大部分访问都来自很深的分页或者标签页，说明主路径没有被走通，需要补一条更直接的链接。
也可以用站内搜索页、sitemap 把重要 URL 直接递给蜘蛛，作为深路径的补充手段，但不要完全依赖它。核心路径仍然要靠入口页的层级结构来搭。
小结
链接深度是蜘蛛路径规划里比较实际的一个指标。入口页不必把所有内容都摊在表面，但至少要让蜘蛛有一条清晰、短、不绕圈的路走到目标页。把这条路径理顺之后，再去关注抓取频次和资源接入，效果会更容易观察。