站点的收錄讨论,多數时候集中在“怎么让新頁面進去”。但一個跑了两年以上的站点,索引里的存量頁面往往比新增頁面更值得花時間:老活動頁、拼參數生成的篩選頁、内容已经合並的空壳頁、几年前的薄内容。這些頁面不會立刻出問题,却會持續占用抓取资源,也會拉低站点整体被判断的质量水平。
處理低质頁面,本质上不是“删得越干净越好”,而是给每個頁面找一個合适的收尾方式。常见的選擇有三種:刪除、合並、保留但 noindex。選错方式,比不處理更麻烦。
先分清:是頁面本身差,還是暂时没表現
不要拿“有没有排名”当唯一标准。有些頁面内容扎實,只是词太窄、竞争太强,短期没流量是正常的。真正该收拾的頁面,通常有這些特征:
- 内容與站内其他頁面高度重合,只是标题或字段稍有不同;
- 由篩選、排序、分頁參數批量生成,頁面之間只有几行差异;
- 正文只有几句话,或几乎全是模板和广告位;
- 时效内容已经過期,信息不再成立,頁面却還挂在线;
- 用戶從站内点進去後几乎没有任何交互,跳出是常態。
判断时最好结合站内搜尋資料、点击資料和頁面内容量一起看,而不是只盯索引报告里的一條狀態。
方式一:刪除,适用于没有任何保留價值的頁面
如果頁面信息已失效、没有外鏈、站内也没有合理位置再連結它,最干净的做法是让它返回 404 或 410。410 表達的是“确定不再提供”,语义更明确,但两者對搜尋引擎的實际差別不大,不必纠结選哪個。
要注意的是:刪除之後頁面不會立刻從索引里消失,中間會有一段狀態滞後的時間。這段時間里不要反复改狀態碼,也不要用 robots.txt 去挡——robots.txt 只限制抓取,不负责移除,反而可能让蜘蛛讀不到 404,把 URL 留得更久。
方式二:合並,适用于多頁说的是同一件事
同一主题被拆成几個 URL,常见于不同版本的介绍頁、地区頁、型号頁。與其逐個優化,不如挑一個内容最全、结构最稳的作為主頁面,其余用 301 指過去。
合並时有三件事要一起做:主頁面要吸收被合並頁面的有效信息;内鏈和導航改指主頁面;站点地图里把舊 URL 換成新 URL。只做 301 而不整理内鏈,用戶和蜘蛛仍會不断走到舊地址上。
方式三:noindex,适用于對人有用但對搜尋没價值
有些頁面确實有用戶價值:登入後的設定頁、站内搜尋结果頁、僅用于客服說明的临时頁。這類頁面不需要出現在索引里,但應该能正常訪問,此时 noindex 比刪除更合适。
使用 noindex 要留意两点。一是它需要蜘蛛能抓到頁面才讀得到,被 robots.txt 挡住的頁面,noindex 是讀不到的;二是批量加 noindex 之後,索引里的清除同样需要時間,不要因為一两周没變化就来回切換策略。
收錄的加减法要一起做。只清理不补充,索引規模是下来了,但真正有價值的頁面並没有因此获得更多抓取。清理之後,记得把内鏈和站点地图重新指向留下来的頁面。
执行的顺序與驗證
- 按類型分组:重复、薄内容、過期、參數生成,四類分開處理,不要混在一張表里。
- 確認每個 URL 的流量和外鏈情况,有自然流量的先別動。
- 确定處理方式,记下执行日期和對應的狀態碼或指令。
- 同步更新内鏈、導航和站点地图。
- 隔几周看一次索引變化,按批次记錄,不必天天查。
低质頁面的處理不是一次性清理,更像定期整理:新内容不断产生,舊頁面也會慢慢失去價值。把“進”和“出”都纳入日常,索引里留下的頁面才會更接近你真正希望被搜到的那些。