抓取和收录之间，隔着一层判断
搜索蜘蛛访问页面、返回 200，只能说明这次抓取完成了。页面要不要进入索引，是另一套判断。索引系统会看内容是否独立、是否重复、对用户有没有价值，也会考虑站点整体质量和抓取预算。所以“日志里有蜘蛛”和“索引里有这个 URL”不能划等号。
当抓取正常、收录却停在原地时，先别急着加内链或反复提交。更常见的问题是：页面本身处在“可抓可不收”的位置。
第一类：页面没有独立价值
有些页面能打开，标题也不空，但用户从搜索进来后得不到完整答案。常见形态包括：
- 只有一句话的标签页、作者页；
- 把其他页面内容拼接起来的聚合页；
- 参数筛选后只剩少量结果的列表页；
- 需要登录、点击或滚动才出现正文的页面。
这类页面不是错误页，但缺少独立信息。索引系统倾向于不收，或者先收后撤。判断方法很简单：如果这个 URL 从索引里消失，用户会不会损失一个重要入口？如果不会，它大概率不属于优先收录对象。
第二类：同一内容有多个 URL 版本
重复内容是“抓了不收”的另一个常见来源。蜘蛛可能把多个版本都抓了一遍，但索引只会选择其中一个，其余版本停在不收录状态。需要检查：
- 大小写、末尾斜杠、www 与非 www 是否都能访问同一内容；
- 带参数 URL 和干净 URL 是否同时存在；
- 分页、排序、追踪参数是否生成了大量可抓取地址；
- canonical 是否指向自己或真正的主版本。
收口重复版本时，优先用 301 把旧地址指向主版本；不能跳转的，再用 canonical 声明。两者都指向同一个明确地址，索引才有机会把权重和收录集中起来。
第三类：抓取预算被低质 URL 占用
如果站内存在大量低质页面，蜘蛛可能会把时间花在这些地址上，新页面和重要页面的抓取频率反而下降。表现是：日志里抓取量不小，但收录不涨。此时要先看抓取分布，而不是只看总数。
抓取量高不等于抓得对。把低质页面挡在外面，往往比继续加内链更有效。
处理方式可以分步：先判断页面是否真的不需要收录；确认不需要后，用 robots.txt 阻止抓取，或对已收录页面用 noindex。注意不要对重要页面误操作。
排查顺序：先判断，再收口，最后调整
- 判断页面价值：这个 URL 有没有独立内容？用户从搜索进来能否直接使用？
- 检查重复版本：同一内容是否存在多个可访问 URL？能否 301 或 canonical 收口？
- 查看抓取分布：日志里蜘蛛抓的是哪些页面？低质 URL 占比高不高？
- 调整入口：把内链指向主版本，把低质页面移出站点地图，必要时再屏蔽或 noindex。
- 观察索引状态：用站点查询和 URL 检查工具交叉看，但别只盯一个数字。
收录是结果，不是单独的动作
页面能不能进索引，最终取决于它是否值得被搜索用户看到。抓取正常只是前提，URL 规范、内容独立、重复版本收口，才是推动收录的日常动作。先修页面，再谈提交和等待，顺序反了，动作再多也容易停在原地。