很多站点在讨论抓取时，会把两件事混在一起：一是蜘蛛有没有来到这个 URL，二是来到之后愿不愿意继续往下走。前者属于入口问题，外链、蜘蛛池、Sitemap、提交接口都在这个层面起作用；后者属于路径问题，只跟站内结构和服务器表现有关。把这两件事分开看，排查会清楚很多。

入口只决定“能不能被看见”

外部入口提供的是一次被发现的机会，它不保证抓取深度，也不保证收录。一个常见的场景是：蜘蛛从外链落到某个页面，看完就离开了，既没有点进栏目，也没有访问详情页。这时候去加更多外链，效果通常很有限，因为问题不在入口数量，而在门后面有没有路。

需要明确一点：入口数量不等于抓取深度。同一批外部链接反复指向一个孤立落地页，蜘蛛得到的只是同一个死胡同。

落地页是第一道分流

从外部进来的落地页，通常是首页或某一篇文章。这个页面上有没有稳定、可爬的链接，直接决定蜘蛛能不能继续走。

• 首屏里用 a 标签写出的导航最可靠，折叠菜单、悬浮展开的导航在源码里常常看不到。
• 依赖懒加载的模块，蜘蛛不一定会触发滚动，链接等于不存在。
• 落地页本身的响应时间也要看：如果外链进来的页面本身就慢，蜘蛛很可能在拿到完整 HTML 之前就结束这次访问。

站内路径：层级、内链与分页

层级不要太深

从首页到目标页要点四五次才能到达，实际被抓的概率会明显下降。重要页面的点击距离尽量控制在三层以内。

内链不要只挂一个位置

同一批重要页面，如果只在某一个列表页被链接，那么那条列表页一旦出问题，整批页面就同时失去入口。让它们在导航、相关推荐、专题页等多个位置被链接，路径才有冗余。

分页要能爬

列表页的分页链接如果是用 JavaScript 动态拼出来的，蜘蛛往往翻不了几页。可以给分页一个正常的链接地址，让第二页、第三页也有可爬入口。

服务器与响应：通往深层的通行证

抓取是一个连续动作，路径越长，中间任何一次超时或 5xx 都可能把这条路截断。检查时不要只看首页，重点看深层详情页——那些查询重、依赖数据库的页面，往往才是拖慢整条路径的环节。

• 稳定的 200 比偶尔的极快更有价值。
• 同一路径上尽量少出现跳转，每多一次跳转就多一次失败机会。
• 抓取高峰期如果站点响应明显变差，深层页面会最先被放弃。

一套可执行的自查顺序

1. 从日志里筛出真实蜘蛛的访问，先用 UA 加反向 DNS 双向确认，排除伪装流量。
2. 看它们落地的 URL 分布：是全部集中在首页，还是能进到栏目页、详情页。
3. 挑一个被访问最多的落地页，用禁用 JavaScript 的方式查看源码，数一数里面有多少可爬链接。
4. 顺着这些链接往下点三层，记录每一步的状态码和响应耗时。
5. 对始终没被抓到的目标页，检查它离首页的点击距离，以及是否存在第二条内链。
6. 把 Sitemap 里提交的 URL 和日志里真实被抓的 URL 做差集，差集里往往藏着结构问题。

一个常见的误区

外链和蜘蛛池只是把蜘蛛送到门口，门后面有没有路，是站内的事。

把入口和路径分开之后，定位问题的速度会快很多：如果蜘蛛压根没来，先回头看 URL 发现渠道；如果来了但只停在第一层，就该回头检查落地页的可爬链接、内链层级和响应时间。这两类问题的处理方向完全不同，混在一起排查，容易在错误的地方反复投入。