站点还小的时候，几十上百个页面，发一篇收一篇，很容易让人以为收录是默认结果。等到栏目变成十几个、URL 涨到几万，同样的更新节奏下，新页面被收录的比例反而往下掉。这通常不是蜘蛛突然变懒，而是站点自身的变化没有被处理。

第一层：新增 URL 的速度超过了抓取速度

蜘蛛在同一站点上的抓取频次，受站点体量、更新节奏、服务器响应速度以及历史抓取表现影响。当每天新增的 URL 数量长期高于被抓取的数量，未抓取的队列就会越积越长，表现出来就是“已发现但尚未抓取”的比例上升，而站长看到的只是“收录变慢了”。

• 把近 30 天新增的 URL 数量，和服务器日志中蜘蛛抓取的 URL 数量做个对比，看是否长期入大于出。
• 看新页面从出现在站点地图到第一次被抓取，间隔是否在拉长。
• 看抓取是集中在少数几个栏目，还是按大致比例分散到各栏目。

一个常见的错误做法是：一次性把上万条 URL 推到站点地图或提交接口里。抓取节奏并不会因为提交量骤增而等比提升，更稳妥的方式是分批推进，让新增速度和被抓取的速度大致匹配。

第二层：页面入口变深、变少

站小的时候，所有页面首页几步就能点到；站大了之后，新页面往往只挂在列表页第七页，或者某个标签页下面，甚至只有站内搜索才找得到。对蜘蛛来说，入口深度和入口数量直接决定了它会不会走到那里。

• 需要点击超过三层才能到达的页面，被抓取的概率明显偏低。
• 分页列表越翻越深，后面的条目几乎没有外部入口。
• 只在筛选结果里出现的参数组合页，等于没有稳定入口。

处理方向是给重要栏目保留固定、浅层的入口，控制列表分页的深度，并确认没有只靠参数筛选才能到达的页面。入口理顺之后，再谈内容才有意义。

第三层：批量生成的页面稀释了整体质量

规模上去之后，很多站点会批量生成标签页、地区页、参数组合页。这些页面单独看不一定差，但数量占比一大，站点整体的可抓取价值就被摊薄了，重要页面也会跟着受影响。

判断标准可以简单一点：这个页面如果被用户从搜索结果点进来，会不会觉得它确实在回答自己的问题？如果答案是否定的，就不该指望它能稳定被收录。

• 空标签页、只有一两条内容的聚合页。
• 同一个商品或文章的不同排序参数页。
• 内容几乎相同的多语言页或多城市页。

顺序是先收敛、再优化：不值得独立成页的就合并或加 noindex，剩下确实值得独立的，再逐个补信息密度。

第四层：重复与近重复变多

站点变大后，同一份内容经常存在多个版本：列表页与详情页、PC 与移动、带参数与不带参数、协议或域名迁移的残留。这些版本互相竞争，会稀释入口的价值，也让站长难以判断真实的收录情况。

• 先统一 URL 规范：协议、域名、大小写、尾斜杠。
• 用 canonical 指向主版本，并确认它指向的 URL 确实返回 200。
• 内链只指向主版本，不要让不同入口指向不同版本。

处理顺序：先做减法，再做加法

1. 先减：把不该被收录的 URL 收敛掉，减少分母里的无效部分。
2. 再理入口：确认重要页面都有稳定、浅层的内链入口。
3. 看抓取：对照日志，确认抓取量和新 URL 出现速度是否匹配。
4. 最后补内容：对留下来的页面逐个提高信息密度。

顺序反了会很累：内容还没补完就去扩入口，只会让更多薄页面进入抓取队列，把有限的抓取配额分走。

一条自查清单

• 新增 URL 数与抓取 URL 数的比值是否健康。
• 重要页面是否能在三次点击内到达。
• 聚合页、参数页在整体 URL 中占多大比例。
• 同一内容是否存在多个可访问版本。
• 收敛动作是否已经在日志里体现出效果。

收录是过程指标，不是开关。站点规模变化之后，先弄清是抓取跟不上，还是质量被稀释，再决定动手方向，通常比反复提交 URL 更有效。