改版、下架商品、合並栏目、清理過期活動頁,這些操作最後都會落到同一個問题:一批 URL 不再需要了,该怎么處理。處理方式不僅影响用戶從搜尋结果点進来看到什么,也影响索引里這些地址要留多久。下面按“先判断、再選擇、最後检查”的顺序梳理一遍。
先回答三個問题
動手之前,先對每個 URL 或每一批 URL 問清楚:
- 這個地址以後還會不會再上线内容?
- 站内有没有一個内容等價、可以承接它的新頁面?
- 它有没有外鏈、有没有搜尋流量、有没有被用戶收藏?
答案不同,處理方式就不同。最怕的是一批 URL 统一做成“全部跳首頁”,看起来干净,實际上把信号打散了。
四種常见處理方式
301 永久重定向:有等價新頁面时用
适用场景是栏目合並、文章換了固定連結、商品換了新地址。要点是一對一、内容相關,A 頁面對應到最接近的 B 頁面,而不是全部指向首頁或栏目頁。大面积全站跳首頁,容易被当成软 404 處理。
404 / 410:确實不再提供的内容
两者都是告诉搜尋引擎這個地址没有内容了,410 的语气更明确一些。差別在實际操作中並不大,重点在于服務器要直接返回 404 或 410 狀態碼,而不是返回一個 200 的“内容已刪除,請返回首頁”提示頁。後者属于软 404,索引里的舊地址更难清理。
noindex + 保留頁面:頁面還要给人看
過期活動頁、僅供登入用戶使用的頁面、只作為流程中間步骤的頁面,适合這種處理:頁面照常訪問,但通過 meta robots 或响應头加上 noindex。注意這類頁面不要同时出現在 sitemap 里,也不要在導航和内鏈里大面积指向它。
暂时保留:内容會回来
短期下架、季节性頁面,可以先把頁面對用戶隐藏或保留,但不做永久性處理。频繁在 404、301、200 之間来回切換,比稳定在一個狀態更难判断。
建议的處理顺序
- 先盘点:從 sitemap、日誌、搜尋表現报告里把要處理的 URL 列全,避免漏掉带參數、带斜杠變体、舊协议版本的地址。
- 能對應的先做 301:一對一映射,跳轉鏈條控制在一跳,不要 A 到 B 再到 C。
- 不能對應的判断是否還會上线:會上线的保留,不會再上线的走 404 或 410。
- 清理站内入口:導航、面包屑、相關推荐、站内搜尋建议、XML sitemap 里同步移除。
- 观察:索引更新是异步的,几周内舊地址仍出現在结果里属于常见情况,不必每天改動策略。
處理完一批 URL 之後,隔一段時間再看收錄和抓取資料,比上线当天反复检查更有意义。
几個容易踩的坑
- 用 JS 跳轉或 meta refresh 代替 301,處理效率會低很多。
- 把刪除的頁面 302 到首頁,语义上是临时跳轉,實际上長期存在。
- 頁面内容清空了,但模板仍然返回 200,形成软 404。
- 加了 noindex 却又让頁面同时被 sitemap 和内鏈大量指向,信号互相冲突。
- 只處理了 HTML 頁面,漏掉了被索引的 PDF、图片等附件地址。
怎么確認處理已经生效
可以從两個方向看:一是用站点工具或命令行請求舊地址,確認返回的狀態碼與预期一致,跳轉只跳一跳;二是在搜尋表現和抓取資料里观察這些 URL 是否還在被訪問、數量是否逐步减少。索引层面的變化通常比抓取层面的變化慢,把观察周期放到几周更合适。
把刪除和下线也当成 URL 生命周期的一部分,形成固定規則:先判断归属,再選狀態碼,最後同步站内入口並定期回看。這样做的好處不是立刻看到索引變化,而是以後每次改版都不用重新讨论一遍。