很多站点运营会把抓取和收录当成同一件事：日志里有蜘蛛来过，就默认页面已经进索引。实际流程里，抓取更接近“把货搬进仓库”，而收录是“决定要不要上架”。上架之前，搜索系统通常会对页面做几道减法：把冗余的URL版本合并掉，把重复或高度相似的内容过滤掉，再判断这个页面是否值得单独占一个索引位。
理解了这几道减法，很多“抓取很勤、收录不涨”的现象就有了解释。
抓取是进货，收录是上架
抓取阶段关心的是“能不能拿到内容”，收录阶段关心的是“这个页面有没有存在的必要”。同一批URL被站内链接或蜘蛛池发现后，会进入抓取队列，但抓取结果只是原料，搜索系统还要做去重、质量判断和索引选择。因此抓取量上升而收录量不变，往往不是蜘蛛没来，而是页面在后续筛选里被减掉了。
第一道减法：多余的URL版本
同一份内容如果存在多个可访问地址，索引机会就会被分散，系统倾向于只保留一个代表版本。常见情况包括：
- 带参数的列表页：?page=1、?sort=、?ref= 等组合出大量变体；
- 带与不带 www、http 与 https 同时可访问；
- 结尾带斜杠与不带斜杠各返回 200；
- 路径大小写混用，各生成一个地址；
- sessionid、追踪参数跟着链接在站内到处传播。
处理思路是先做规范：能 301 的统一跳转，必须保留的用 canonical 指向代表版本，无意义的参数在链接层面收敛。规范没做干净时，即使推更多URL进去，也只是让重复版本互相竞争。
第二道减法：重复与近似内容
这里的重复不只是一字不差的复制，还包括同一份内容被反复转载、列表页与详情页大面积雷同、分页页面只差几条标题、分站共用同一套正文模板。近似程度越高，页面被单独保留的概率越低。
可以自查几点：正文中真正独有的部分占多少；模板文字、导航、推荐位是否占了大半；多个页面之间是否只有标题里的城市或型号不同。如果答案是“确实差不多”，优先补充独有信息，而不是继续加URL。
第三道减法：页面能不能自己站住
通过前两道减法后，页面还要回答几个问题：它提供的信息，是否已经能由站内另一个页面完整回答？内容能否满足从搜索词进来的访问者？页面本身是否可正常渲染、正文可读、没有把关键内容藏在交互之后？这些问题不解决，页面就容易停留在“被抓过、但没被收录”的状态。
站点可以做的一份核对清单
- 按模板归类近30天抓取量高但未收录的URL样本，而不是一个个单独看；
- 检查这些URL是否与站内其他页面高度相似，找出真正重复的那一类；
- 确认规范标签、301跳转、参数收敛落实在代码层面，而不是只写在文档里；
- 对内容做减法：删掉没有独立价值的页面，往往比逐个修补更省事；
- 保留有明确搜索需求、有独有信息的页面，并让内部链接指向它们。
抓取是别人愿意来看，收录是系统愿意留下。后者不靠提交量堆出来，而靠页面本身经得起减法。
把这三道减法先做完，再谈蜘蛛池、URL发现和提交策略，效果才不会被重复内容抵消掉。