做蜘蛛池的人经常遇到一个现象：入口页明明被蜘蛛抓了，但往下两层的页面几乎没人访问，目标站拿到的抓取量少得可怜。这里说的抓取深度，指的是蜘蛛从入口页出发，沿着链接往下走了几层。深度越浅，能被触达的页面就越少。
蜘蛛的抓取深度是逐层递减的
搜索蜘蛛的抓取预算有限，对陌生站点通常会先做小范围试探，抓几个页面看看响应速度、内容质量和链接结构，再决定要不要扩大范围。所以从入口页到目标页，每一层被抓到的概率都在下降。第一层可能抓走大部分，第二层只剩一部分，再往下就更少。这不是惩罚，而是资源分配的自然结果。
蜘蛛停在第一层的常见原因
- 链接位置不对：外链被放在侧栏、页脚或者由脚本渲染的模块里，蜘蛛可能忽略或不执行。
- 单页链接过多：一个页面塞几百个链接，每个链接分到的权重被摊薄，蜘蛛往往只挑少量抓取。
- 层级过深：入口页到栏目、栏目到列表、列表到详情，四层结构下最后一层几乎拿不到抓取。
- 锚文本和 URL 高度雷同：大量链接指向同一批地址，蜘蛛缺乏继续探索的动机。
- 响应慢或状态码不稳定：抓取超时会拉低蜘蛛对整站的抓取频率。
让蜘蛛往下走的几个做法
- 压缩层级：让入口页直接链到目标页，两跳以内可达为宜，中间层只保留必要的分类。
- 把链接放进正文：正文区的链接比导航和页脚更容易被跟随，带上下文说明的链接尤其如此。
- 控制单页链接数量：一页几十个链接，比一页几百个链接更容易被逐个抓取。宁可多铺几个入口页，也不要把链接堆在一处。
- 让链接 URL 有区分度：指向不同路径、不同地址，蜘蛛才有继续往下走的理由。
- 用 sitemap 补位：sitemap 不能替代页面链接，但可以作为深层页面的一条补充发现通道。
怎么确认蜘蛛到底走到了哪一层
别凭感觉判断，看服务器日志更直接。把日志按 URL 路径段分组统计，比如 /a/、/a/b/、/a/b/c/ 各自的抓取次数和占比，再对照状态码分布。如果第二层的抓取量只有第一层的百分之几，说明深层链接没有发挥作用。观察一到两个完整的抓取周期再下结论，不要拿半天的数据做判断。
常被忽略的两个误区
一是以为链接写得越多，蜘蛛走得越深；实际情况常常相反，链接密度过高反而让蜘蛛停在第一层。二是以为 sitemap 提交完就不用管内链了，sitemap 影响的是发现速度，能走多深仍然取决于页面之间的链接关系。
抓取深度不是靠堆链接换来的，而是靠清晰的路径和可用的页面结构，让蜘蛛愿意多走一步。
对多数站点来说，把入口页到目标页的路径压到两跳以内、在正文区保留有效链接、把单页链接数量收敛下来，比反复调整参数更实在。改完给它几个抓取周期，再用日志验证，比频繁改动更容易看出差别。