很多站长讨论抓取时，习惯把注意力放在“蜘蛛来没来”上，但真正影响抓取效率的，往往是站点的结构形状——链接是横向铺开，还是纵向层层深入。本文讨论广度与深度这两个维度对抓取路径的影响，以及怎样用现成数据判断自己站点的形状。
蜘蛛的队列并不完全按你的导航顺序走
从日志里能看到一个规律：蜘蛛拿到一个页面后，会先把页面里的链接丢进待抓取队列，再按调度逻辑依次取出。它更像是一层一层向外扩散，而不是顺着一条线一路钻到底，同一批出现的链接，往往会在相近的时间段被抓完。
这带来两个直接结果：
- 横向链接多的站点，新 URL 被发现得快，但每个 URL 分到的重复访问次数相对分散。
- 纵向层级深的站点，深层页面要等前面的层级被反复消化，才轮得到它们。
宽而浅和窄而深，瓶颈各在哪里
宽而浅的结构
首页或栏目页直接挂出大量链接，典型场景是电商列表页、聚合页。优点是发现路径短，缺点是容易产生大量参数化地址和短暂存在的 URL，抓取预算被重复页面消耗，真正需要更新的内容反而排不上队。
窄而深的结构
每一层只放少量链接，靠“下一页”或“查看更多”往下走。好处是页面之间的主题关系清楚，坏处是走到第四、五层之后，到达频率会明显下降，日志里表现为深层 URL 的抓取间隔越来越长。
结构本身没有绝对的好坏，问题在于：站点有没有为重要内容准备一条足够短的路径。
怎么用现成数据判断自己的形状
- 从日志里筛出抓取次数最多的 100 个 URL，看它们集中在哪些目录层级。
- 把 URL 按路径段数分组，统计每组的被抓取数量。如果前两层占了大头、深层基本没动静，说明站点偏窄而深。
- 统计同一层级页面的首次被抓时间差，差距很大通常意味着链接是从不同入口进入队列的。
- 对比 Sitemap 里的 URL 与日志里实际被抓的 URL，判断蜘蛛有没有绕开站点地图自己找路。
Sitemap 和内链在这两个维度上的分工
这两者常被混为一谈，其实作用不同：
- 站点地图解决的是“有哪些 URL”的问题，它提供平铺清单，并不改变站点的纵向深度。
- 内链解决的是“从哪里走到”的问题，它决定爬虫在页面之间移动的路径与层级。
所以当深层页面长期不被抓取时，往站点地图里补 URL 的效果通常有限，更直接的做法是在离入口更近的位置放一条指向它的链接，比如栏目页的相关推荐、上一级列表的分页入口。
调整时常见的几个误区
- 为了“让所有页面都浅”而在首页堆砌大量链接，结果首页信噪比下降，深层页面并没有因此变快。
- 把分页全部改成前端加载更多，链接不再出现在 HTML 里，URL 发现通道被切断。
- 只盯着抓取总量增长，忽略被抓的是不是有效页面。
可以落地的小步验证
先用日志确认形状，再做结构调整，通常比盲目加链接更有效。可以按下面的顺序小步试：
- 挑三到五个希望更快更新的深层页面，为它们各补一条来自二级栏目的链接。
- 观察两到四周日志里这些 URL 的抓取间隔变化。
- 如果有效，把这种链接位固定下来；如果没变化，检查页面本身响应是否偏慢、是否返回了非 200 状态。
- 定期清理列表页里指向空结果、重定向或已下线内容的链接，减少无效路径。
结构优化是长期动作，效果通常体现在抓取分布是否更均匀，而不是某一天抓取总量的涨跌。