不少人搭好蜘蛛池后，看到日志里有蜘蛛访问入口页，就默认这件事已经成了。过几天再翻目标页的抓取记录，却一片空白。问题往往不在“蜘蛛来不来”，而在“蜘蛛来了之后走不走得下去”。这篇文章聊的就是抓取深度。
抓取深度指什么
抓取深度可以简单理解为：蜘蛛从入口页出发，沿着链接能往下走几层。第一层是入口页本身，第二层是入口页上直接指向的页面，再往下就是第三层、第四层。层级越深，蜘蛛继续往下走的可能性越低，因为每多走一层，它都要多花一次请求和一次判断，而它的时间预算始终是有限的。
蜘蛛停在入口页的常见原因
入口页上没有可跟随的链接
有些入口页只放了一段说明文字或者一张图，蜘蛛抓完就没有下一步可走。也有人把链接做成按钮、图片或者纯脚本事件，初始 HTML 里根本没有可识别的链接标签，蜘蛛自然找不到出口。想让它往下走，入口页上至少要留几条真实的文字链接。
链接依赖脚本渲染
如果入口页的链接是靠前端脚本插入的，而蜘蛛拿到的是初始 HTML，它看到的就是一个没有出口的页面。能服务端直出的链接，尽量别藏在脚本里；实在需要脚本渲染，也要保证存在不依赖脚本的备用路径。
nofollow、robots 与 meta 指令挡住去路
入口页如果给目标链接加了 nofollow，或者目标页自身的 robots.txt、meta robots、X-Robots-Tag 不允许抓取，蜘蛛即使跟过去也会止步。这类问题在日志里的典型表现是：入口页天天有记录，目标页完全没有记录，而且不是偶尔缺，是持续缺。
跳转链条太长或跳转类型不合适
从入口页到目标页，如果中间绕了三四个跳转，每多一跳都会损失一部分抓取意愿。尤其当中间夹着脚本跳转和 meta refresh 时，蜘蛛的处理方式与 301 并不相同，环节越多，越容易在某一跳断掉，后面的页面就再也没机会被看到。
目标页自身抓不动
响应慢、频繁返回 5xx、页面体积过大、需要登录才能看到内容、URL 上挂着一长串参数，这些都会让蜘蛛走到第二层时选择放弃。入口页再健康，也带不动一个抓不动的目标页。
入口页内容太薄，蜘蛛不再回访
入口页如果长期空着，或者每次抓到的都是同一份没有意义的内容，蜘蛛的回访频率会逐渐下降。抓取深度是建立在“值得再看一次”这个前提上的，连入口页都不想再来，自然不会往下走。
从日志里看深度
访问日志能提供不少线索。看 referer 字段，可以判断某个目标页是被哪个入口页带过去的；把入口页和目标页的抓取时间对齐，能看出蜘蛛是“一次连抓”还是“分几次慢慢推”。如果入口页几乎天天被访问，但带 referer 的后续请求少得可怜，那基本可以判断深度断在了第一层，需要回头检查链接写法和中间链路。
调整建议
- 入口页上至少保留几条可见的文字链接，指向相关性强的页面，不要全靠脚本或者跳转带路。
- 把入口页到目标页的跳数控制在两三跳以内，中间链路尽量用真实链接而不是重定向串联。
- 逐条检查 nofollow、robots.txt、meta robots 和 X-Robots-Tag，确认没有把想被抓的那一层挡在外面。
- 目标页要能稳定打开，控制响应时间和页面体积，减少重复参数和高度雷同的模板内容。
- 入口页定期更新一点有价值的内容，给蜘蛛一个回访的理由，而不是长期放着一份空壳。
- 把 sitemap 当作补充发现通道，但不要指望它替代正常的链接层级。
抓取深度不是一个可以手动设置的参数，而是入口页结构、链接写法、目标页质量和蜘蛛自身判断共同作用的结果。能做的，是把路上的障碍一个一个清掉，然后观察日志确认效果。
最后提醒一句：蜘蛛抓得深，并不等于页面会被收录。收录还要看内容质量、站点整体情况和搜索引擎自己的判断。解决深度问题，只是让页面重新回到“有机会被评估”的队列里，后续该怎么走，还得靠内容和运营慢慢磨。