索引量上升不一定都是好事。很多站点的索引里混着一批“点進去什么都没有”的 URL:空搜尋结果頁、没有商品的篩選頁、已下架的产品頁、結束很久的活動頁。它們服務器返回 200,搜尋引擎按正常頁面處理,用戶点進来却找不到内容。這類頁面通常被称為软 404,值得單獨拿出来看。
软 404 為什么比真 404 更麻烦
真 404 和 410 是明确的信号:這個 URL 不再提供内容,爬虫會逐步把它移出索引。软 404 返回的是 200,等于告诉搜尋引擎“這里是正常頁面”,于是它會被抓取、被索引,甚至參與排序。结果是:用戶看到無内容的頁面,站点在索引里堆积一批低质量 URL,真正有價值的頁面反而被稀释。
更麻烦的是,這類頁面往往數量不小,而且分散在參數頁、列表頁和詳情頁模板里,靠人工一個個点不現實,需要按類型批量處理。
常见的三類来源
篩選、排序和站内搜尋结果
用戶随便组合几個篩選條件就能生成一個新 URL,其中大部分组合是没有结果的。如果這些 URL 都返回 200 並带完整模板,索引里就會長出大量空頁面。
已下架或已過期的内容
商品下架、课程结课、活動結束之後,頁面模板還在,标题和面包屑還在,正文区域却只剩一句“暂無内容”。這是最典型的软 404。
内容被搬空但栏目還在
栏目迁移、内容合並之後,舊栏目頁保留了下来,只剩一個空列表和一段說明文字。
怎么把它們找出来
- 看抓取日誌:狀態碼是 200,但响應体明顯偏小,或者正文里没有實质内容区块。
- 看索引报表:标题高度重复、描述為空、同一模板下大量相似 URL。
- 站内抽样:從篩選參數、已下架 ID、歷史活動 URL 中各抽一批,人工確認頁面實际呈現。
- 看資料表現:曝光有、点击几乎没有,且落地頁跳出率異常高的 URL,值得重点排查。
處理顺序建议
- 先判断有没有保留價值。有些空頁面背後其實有搜尋需求,比如某個篩選组合没人搜,但換個條件就有人搜。先看需求再動手。
- 能补内容的补内容。如果頁面本身有存在的意义,给它加替代推荐、相關條目或說明文案,比直接删掉更划算。
- 不會再有的内容返回 410 或 404。已彻底下架、不會再上线的 URL,用明确的狀態碼比留着 200 更干净。
- 必须保留入口的頁面做 noindex。比如站内搜尋结果頁,可以保留给用戶使用,但通過 noindex 阻止進入索引。
- 同步更新内鏈和站点地图。狀態碼改了、noindex 加了,但内鏈還在大量指向這些 URL,效果會打折。
几個容易踩的坑
把所有空頁面统一 404 是最省事也最容易出問题的做法。一些篩選頁、标簽頁虽然目前為空,但長期有稳定搜尋需求,直接 404 會丢掉入口。
另一個常见做法是把空頁面的 canonical 指向首頁。這並不解决“頁面無内容”的問题,只是把信号集中到首頁,站点里仍然存在一批低價值 URL。
判断标准可以简單一点:如果用戶從搜尋结果点進這個 URL,會不會觉得“白点了”。會,就值得處理。
收尾要看什么
處理完之後不會立刻见效。可以在抓取日誌里观察這些 URL 的狀態碼變化、抓取频次是否下降,再對照索引报表里對應模板的 URL 數量。一般需要几周到几個月,取决于站点規模和抓取频率。期間不要反复改動同一批 URL 的狀態,避免信号混乱。