網站收錄

頁面下线之後:让舊 URL 登出索引的几個步骤

頁面刪除或改版換地址後,舊 URL 常常還留在索引里,用戶搜到点進来是 404 或者被丢到首頁。這篇按顺序梳理下线頁面的處理:先判断该合並還是该消失,再選狀態碼、清理内鏈與 sitemap,最後才考虑移除工具,並說明為什么用 robots.txt 挡住通常解决不了問题。

網站收錄

頁面下线之後:让舊 URL 登出索引的几個步骤

頁面删了、合並了、改版換地址了,過一阵子再去搜,仍然能看到舊 URL。用戶点進来要么是 404,要么被丢到首頁却找不到想要的内容,体驗和信任都會打折扣。让舊地址從索引里登出,並不是發一個 404 就立刻完成的,中間有几個先後顺序值得理一理。

第一步:先判断這個 URL 该合並還是该消失

這一步决定了後面所有動作的方向,判断错了,後面的清理都是白做。

  • 有等價或更好的替代頁面:用 301 把舊地址指向新地址,用戶和權重都落到新頁面上,索引會逐步替換成新地址。
  • 内容确實不再提供,也没有替代:让它返回 404 或 410,明确告诉蜘蛛這個地址不存在了。
  • 只是暂时下线维護:不要急着改成 404,保留頁面並返回 503,或者干脆维持可訪問狀態,否則反复下线再恢复,抓取和索引狀態會来回摇摆。

第二步:狀態碼別绕弯

决定让頁面消失之後,最直接的做法就是让它返回 404 或 410。两者對搜尋引擎来说都表示頁面不存在,410 的表達更坚决一些,而 404 在多數场景下已经够用。真正需要注意的是两種绕弯寫法:一種是返回 200 的“内容已刪除”提示頁,另一種是用 302 或 301 把舊地址指向首頁。

返回 200 的错誤提示頁属于典型的软 404,蜘蛛會認為頁面仍然存在,索引可能長期停在舊版本上;把無關的舊頁面跳到首頁,則等于用大量地址去指向同一個頁面,容易被当成低價值跳轉。

第三步:不要指望 robots.txt 和 canonical 帮你移除

robots.txt 拦的是抓取,不是索引。已经被收錄的地址即使被 Disallow 掉,它仍可能留在索引里,只是标题和摘要信息變得不完整。更麻烦的是,被挡住之後蜘蛛抓不到頁面,也就看不到頁面上的 noindex。

canonical 表達的是“這两個地址属于同一個頁面”,用在下线頁面上並不合适。如果你确實想把舊地址合並到新頁面,直接做 301 比在舊頁面上寫 canonical 更清楚。

第四步:站内清理要同步跟上

頁面狀態碼改好只是對外的一侧,站内的引用不改,蜘蛛還會顺着舊連結一次次回来。

  • 找出指向舊 URL 的内鏈,改指到替代頁面,或者直接删掉。
  • 從 sitemap 中移除该地址,避免提交明确的失效連結。
  • 检查導航、面包屑、文章相關推荐、结构化資料里的地址是否還指向舊版本。
  • 如果站内有搜尋或聚合功能會自動拼出這個地址,也要一並處理,否則它會不断被重新生成。

第五步:确實需要加速时再用移除工具

搜尋引擎後台一般提供移除請求,分临时和永久两類思路。临时移除相当于一個短期的遮挡,通常只维持几個月,到期後如果頁面本身仍然可訪問,它還是會重新出現。要让移除長期有效,前提仍然是頁面本身返回 404、410,或者带有 noindex 且能被正常抓到。

這里有個容易被忽略的顺序問题:如果你先把地址寫進 robots.txt 再請求移除,蜘蛛抓不到頁面,也就確認不了 noindex,反而更容易長期留在索引里。合理的顺序是先让頁面狀態或 noindex 生效,再考虑提交移除請求。

多久能看到變化,以及怎么確認

生效時間取决于站点被抓取的频率,可能是几天,也可能是几周,没有固定值。想確認進度,可以看几個地方:用後台的 URL 检查工具查看目前狀態,用站内搜尋或指令查询舊地址是否還在,翻一段時間的抓取日誌,看舊地址返回的狀態碼是否已经被蜘蛛讀到。如果日誌里舊地址還在被频繁抓取,通常說明站内還有入口没清理干净。

整個過程可以简單记成一句话:先把狀態定清楚,再把入口清干净,最後才谈加速。跳過前面两步直接提交移除,往往只是把問题往後推一段時間。