索引量上升不一定都是好事。很多站点的索引里混着一批“点进去什么都没有”的 URL:空搜索结果页、没有商品的筛选页、已下架的产品页、结束很久的活动页。它们服务器返回 200,搜索引擎按正常页面处理,用户点进来却找不到内容。这类页面通常被称为软 404,值得单独拿出来看。
软 404 为什么比真 404 更麻烦
真 404 和 410 是明确的信号:这个 URL 不再提供内容,爬虫会逐步把它移出索引。软 404 返回的是 200,等于告诉搜索引擎“这里是正常页面”,于是它会被抓取、被索引,甚至参与排序。结果是:用户看到无内容的页面,站点在索引里堆积一批低质量 URL,真正有价值的页面反而被稀释。
更麻烦的是,这类页面往往数量不小,而且分散在参数页、列表页和详情页模板里,靠人工一个个点不现实,需要按类型批量处理。
常见的三类来源
筛选、排序和站内搜索结果
用户随便组合几个筛选条件就能生成一个新 URL,其中大部分组合是没有结果的。如果这些 URL 都返回 200 并带完整模板,索引里就会长出大量空页面。
已下架或已过期的内容
商品下架、课程结课、活动结束之后,页面模板还在,标题和面包屑还在,正文区域却只剩一句“暂无内容”。这是最典型的软 404。
内容被搬空但栏目还在
栏目迁移、内容合并之后,旧栏目页保留了下来,只剩一个空列表和一段说明文字。
怎么把它们找出来
- 看抓取日志:状态码是 200,但响应体明显偏小,或者正文里没有实质内容区块。
- 看索引报表:标题高度重复、描述为空、同一模板下大量相似 URL。
- 站内抽样:从筛选参数、已下架 ID、历史活动 URL 中各抽一批,人工确认页面实际呈现。
- 看数据表现:曝光有、点击几乎没有,且落地页跳出率异常高的 URL,值得重点排查。
处理顺序建议
- 先判断有没有保留价值。有些空页面背后其实有搜索需求,比如某个筛选组合没人搜,但换个条件就有人搜。先看需求再动手。
- 能补内容的补内容。如果页面本身有存在的意义,给它加替代推荐、相关条目或说明文案,比直接删掉更划算。
- 不会再有的内容返回 410 或 404。已彻底下架、不会再上线的 URL,用明确的状态码比留着 200 更干净。
- 必须保留入口的页面做 noindex。比如站内搜索结果页,可以保留给用户使用,但通过 noindex 阻止进入索引。
- 同步更新内链和站点地图。状态码改了、noindex 加了,但内链还在大量指向这些 URL,效果会打折。
几个容易踩的坑
把所有空页面统一 404 是最省事也最容易出问题的做法。一些筛选页、标签页虽然当前为空,但长期有稳定搜索需求,直接 404 会丢掉入口。
另一个常见做法是把空页面的 canonical 指向首页。这并不解决“页面无内容”的问题,只是把信号集中到首页,站点里仍然存在一批低价值 URL。
判断标准可以简单一点:如果用户从搜索结果点进这个 URL,会不会觉得“白点了”。会,就值得处理。
收尾要看什么
处理完之后不会立刻见效。可以在抓取日志里观察这些 URL 的状态码变化、抓取频次是否下降,再对照索引报表里对应模板的 URL 数量。一般需要几周到几个月,取决于站点规模和抓取频率。期间不要反复改动同一批 URL 的状态,避免信号混乱。