看到收录数上不去，很多人的第一反应是继续加页面、继续堆内容。但如果前面某个环节本来就有堵点，新增的页面大概率只是重复同样的结果，产量越大，浪费的维护精力越多。与其扩大产量，不如先把现有页面的收录路径按“发现—抓取—收录”三段过一遍，搞清楚到底卡在哪一段。
第一段：页面有没有被发现
收录的起点是 URL 被发现。如果蜘蛛从来没拿到过这个地址，后面所有环节都无从谈起，质量做得再好也没用。
先看入口够不够
- sitemap 是否包含这些 URL，文件本身能否正常访问，格式有没有写错。
- 页面上是否至少有一条站内链接指向它。重要页面只靠 sitemap 被发现，通常比有内链的页面慢。
- 新页面有没有被埋在很深的点击层级里，需要多次跳转才到得了。
- 列表页、聚合页有没有把这些新地址真正输出成可点击链接，而不是只在接口里存在。
用日志验证，而不是猜
服务器日志里的蜘蛛访问记录是最直接的证据。可以挑几个目标 URL，看日志里有没有对应的请求、返回什么状态码、大概隔多久来一次。这一步花不了多少时间，却能省掉很多无效改动。
如果日志里连一次访问都没有，问题在发现；如果来了但状态码不理想，问题在抓取；如果抓了多次仍不见收录，问题多半在页面本身。
第二段：抓取是否顺利
被抓取不等于会进索引，但抓取失败或效率过低，收录一定跟不上。这一段主要看技术层面有没有把路堵住。
- 状态码：大量 404、500 或跳转链路过长，会让蜘蛛中途放弃。
- robots.txt：是否误挡了整目录，或者规则写得过宽，把正常页面一起排除在外。
- 参数与重复地址：同一批内容生成大量带参数的 URL，会分散本来就有限的抓取次数。
- 渲染方式：正文依赖脚本渲染时，要确认蜘蛛实际拿到的 HTML 里有没有内容主体。
- 响应速度：长期超时或频繁限流，会让蜘蛛降低来访频率。
第三段：页面值不值得留在索引里
技术环节都正常，收录还是不动，就要回到页面本身。索引空间有限，判断标准大致围绕“是否独特、是否有实质内容、是否对用户有用”。
- 正文篇幅过短，主要信息都靠模板和导航撑起来的页面。
- 同一内容存在多个 URL 版本，彼此之间没有清晰的规范指向。
- 列表、筛选、排序等页面批量生成，内容高度相似。
- 标题和描述是机械拼接的，看不出这页到底讲什么。
这几类页面不一定完全不能收录，但它们在收录环节的优先级通常更低，数量多了还会稀释整站的抓取分配。
三个常见的误判
- 把没收录和没流量混为一谈。收录只是进入索引，能不能拿到展示还要看词本身有没有需求。
- 用整站数字判断单页。站点总收录量在涨，不代表你关心的那批页面在涨，要拆到目录甚至单页去看。
- 以为提交了就会被处理。提交只是提供入口，是否抓取、是否收录仍由后续判断决定。
排查完之后再决定加不加内容
如果三段排查下来，发现只是抓取频率偏低，那就把精力放在减少无效 URL、提升响应速度上；如果发现页面确实单薄，那加内容才有意义，而且应该先补强已有页面，而不是无限铺新页面。顺序错了，投入和产出很难对上。
收录是一个持续的过程，不是一次性的开关。定期抽几个页面走一遍这三段，比等到收录量明显下滑再回头找原因要轻松得多。