站点的收录讨论,多数时候集中在“怎么让新页面进去”。但一个跑了两年以上的站点,索引里的存量页面往往比新增页面更值得花时间:老活动页、拼参数生成的筛选页、内容已经合并的空壳页、几年前的薄内容。这些页面不会立刻出问题,却会持续占用抓取资源,也会拉低站点整体被判断的质量水平。
处理低质页面,本质上不是“删得越干净越好”,而是给每个页面找一个合适的收尾方式。常见的选择有三种:删除、合并、保留但 noindex。选错方式,比不处理更麻烦。
先分清:是页面本身差,还是暂时没表现
不要拿“有没有排名”当唯一标准。有些页面内容扎实,只是词太窄、竞争太强,短期没流量是正常的。真正该收拾的页面,通常有这些特征:
- 内容与站内其他页面高度重合,只是标题或字段稍有不同;
- 由筛选、排序、分页参数批量生成,页面之间只有几行差异;
- 正文只有几句话,或几乎全是模板和广告位;
- 时效内容已经过期,信息不再成立,页面却还挂在线;
- 用户从站内点进去后几乎没有任何交互,跳出是常态。
判断时最好结合站内搜索数据、点击数据和页面内容量一起看,而不是只盯索引报告里的一条状态。
方式一:删除,适用于没有任何保留价值的页面
如果页面信息已失效、没有外链、站内也没有合理位置再链接它,最干净的做法是让它返回 404 或 410。410 表达的是“确定不再提供”,语义更明确,但两者对搜索引擎的实际差别不大,不必纠结选哪个。
要注意的是:删除之后页面不会立刻从索引里消失,中间会有一段状态滞后的时间。这段时间里不要反复改状态码,也不要用 robots.txt 去挡——robots.txt 只限制抓取,不负责移除,反而可能让蜘蛛读不到 404,把 URL 留得更久。
方式二:合并,适用于多页说的是同一件事
同一主题被拆成几个 URL,常见于不同版本的介绍页、地区页、型号页。与其逐个优化,不如挑一个内容最全、结构最稳的作为主页面,其余用 301 指过去。
合并时有三件事要一起做:主页面要吸收被合并页面的有效信息;内链和导航改指主页面;站点地图里把旧 URL 换成新 URL。只做 301 而不整理内链,用户和蜘蛛仍会不断走到旧地址上。
方式三:noindex,适用于对人有用但对搜索没价值
有些页面确实有用户价值:登录后的设置页、站内搜索结果页、仅用于客服说明的临时页。这类页面不需要出现在索引里,但应该能正常访问,此时 noindex 比删除更合适。
使用 noindex 要留意两点。一是它需要蜘蛛能抓到页面才读得到,被 robots.txt 挡住的页面,noindex 是读不到的;二是批量加 noindex 之后,索引里的清除同样需要时间,不要因为一两周没变化就来回切换策略。
收录的加减法要一起做。只清理不补充,索引规模是下来了,但真正有价值的页面并没有因此获得更多抓取。清理之后,记得把内链和站点地图重新指向留下来的页面。
执行的顺序与验证
- 按类型分组:重复、薄内容、过期、参数生成,四类分开处理,不要混在一张表里。
- 确认每个 URL 的流量和外链情况,有自然流量的先别动。
- 确定处理方式,记下执行日期和对应的状态码或指令。
- 同步更新内链、导航和站点地图。
- 隔几周看一次索引变化,按批次记录,不必天天查。
低质页面的处理不是一次性清理,更像定期整理:新内容不断产生,旧页面也会慢慢失去价值。把“进”和“出”都纳入日常,索引里留下的页面才会更接近你真正希望被搜到的那些。