在蜘蛛池和站点运营里，最能让人困惑的情况之一是：入口页正常打开，链接不是 JS 动态生成，也没有 nofollow，可搜索蜘蛛就是只抓了其中一部分目标 URL，剩下的长期停在“已发现”或者干脆没动静。这不是某一个开关的问题，而是抓取调度在多个信号之间做取舍的结果。
先分清三种状态
排查前先把状态分清楚，否则很容易在错误的方向上改来改去。
- 没被发现：抓取日志里看不到对目标 URL 的请求，入口页的抓取记录也稀疏，说明问题出在入口页这一侧。
- 已发现未抓取：URL 进了待抓队列，但一直没轮上，通常和抓取配额、优先级有关。
- 抓过但没保留：抓取发生过，只是目标页返回异常、内容重复或质量信号弱，后续没有继续。
只抓一部分的常见原因
1. 站点整体抓取配额有限
搜索蜘蛛对每个站点的抓取量是有大致上限的。如果同一个域名下同时存在大量 URL，包括历史遗留的参数页、分页、搜索结果页，入口页能分到的抓取次数就会被摊薄。表现就是入口页被访问了，但每次只带走少量链接。
2. 目标 URL 大面积雷同
如果几百个目标 URL 的标题、模板、正文结构高度一致，只换了少量参数，搜索引擎可能把它们当作近似重复的页面。这种情况下继续抓取的收益不明显，队列里的优先级自然会被压低。入口页本身没问题，是目标侧的信号在拖后腿。
3. 入口页长时间没有实质更新
入口页如果每天都是同一批链接、同样的顺序、同样的内容，抓取频率会慢慢下降。搜索蜘蛛判断值不值得再来，看的是变化，而不是链接数量。只堆链接、不做任何更新的入口页，往往在头几次抓取之后就趋于平淡。
4. 入口页的链接分布过于集中
链接全塞在一个区块、一段 HTML 里，和链接分散在几个有语义的结构里，抓取时的处理并不完全一样。更重要的是，如果入口页本身很长，排在后面的链接被带走的概率会明显下降。
5. 目标页响应不稳定
目标 URL 如果经常出现超时、5xx、连接被重置，或者在移动端和桌面端返回不一致，抓取端会把这批 URL 判定为不值得花配额。哪怕入口页一切正常，后续抓取也会慢下来甚至暂停。
一个可执行的排查顺序
- 看入口页最近一周的抓取日志，确认访问频率是在下降，还是稳定但每次只取少数链接。
- 抽 20 到 30 个未被抓取的目标 URL，手动检查状态码、响应时间、canonical 和主要内容是否重复。
- 对照 sitemap，看这些 URL 是否已经提交、提交时间是什么时候。
- 检查同域名下是否存在大量低质量或参数化 URL，它们在抢占抓取配额。
- 确认入口页本身有没有更新，最近一次内容变化是什么时候。
可以尝试的调整
- 控制单页链接数量：把入口页拆成几页，每页链接保持在一个合理范围，而不是一页塞几百个。
- 让内容有真实变化：新增、下架、排序变化都算，关键是别让入口页看起来永远冻结。
- 差异化目标页：标题、描述、首屏信息尽量体现各自的内容，避免整批页面像同一张模板。
- 稳定目标页响应：把超时和 5xx 压下去，比反复提交 URL 更有效。
- 清理同域冗余 URL：减少无意义参数页和重复路径，把配额留给真正需要的页面。
抓取是发现、排队、抓取、保留的连续过程，任何一环的信号变弱，都会表现为只抓了一部分。不要只盯着入口页的链接格式。
如果想确认问题到底在入口页还是目标页，可以把同一批 URL 分两组：一组只通过入口页暴露，一组只写进 sitemap，观察两周后的抓取比例。差异明显，说明入口页这一侧的抓取效率还有优化空间；差异不大，那更可能是目标 URL 本身或整站抓取配额的问题。