網站收錄

頁面下线之後:404、410 與 noindex 该怎么選

商品下架、活動結束、栏目合並之後,收錄狀態不會自動跟着變。本文梳理 404、410 和 noindex 三種處理方式各自的适用场景,以及站内連結、sitemap 同步和狀態碼稳定性這些容易被漏掉的检查点,帮助你把下线這件事做得干净一些。

網站收錄

頁面下线之後:404、410 與 noindex 该怎么選

商品下架、活動結束、栏目合並、内容過期,都會遇到頁面下线。很多人把這一步理解成“删掉就行”,但刪除只是動作,收錄狀態還要看搜尋引擎收到了什么信号。信号清楚,索引會按节奏收敛;信号含糊,就會出現软 404、用戶点進来一片空白、搜尋结果里還挂着一個已经没用的地址。

先分清三種做法分別在表達什么

頁面下线大致分两類:一類是不再提供内容,一類是内容還在但不想被搜到。對應的做法並不相同。

  • 404:表示這個地址上的资源找不到,搜尋引擎通常按暂时性判断處理,會保留一段時間的观察。
  • 410:表示资源已永久移除。语义更确定,對于确實不再提供的内容,收敛往往比 404 更干脆。
  • noindex:頁面正常返回 200,人能看到内容,只是不希望進索引。适合還要给已有用戶或特定渠道看的頁面。

内容确實不要了:404 與 410 怎么選

如果頁面已经没有任何保留價值,也没有合适的承接頁,直接返回 404 或 410 都可以,關键是別把它變成软 404——返回 200,但頁面上只有一句“内容不存在”,或者只剩導航和頁脚。這種狀態會被当成正常頁面處理,内容又是空的,判断起来更麻烦。

410 更适合确定不會再提供的资源,比如已经下架且不會上架的型号、已经結束且不會重開的活動。404 則适合不确定是否還會恢复的情况。两者在實践中差异没有想象中那么大,真正拉開差距的是狀態碼是否稳定、是否長期保持一致。今天 404、明天 301、後天又變回 200,這種反复是收敛變慢的常见原因。

頁面還要给人看:noindex 用在哪里

有些頁面不适合出現在搜尋结果里,但确實有人在訪問:後台入口、环节頁、活動落地頁、内部測試頁。這類頁面用 noindex 比删掉更合适。

需要注意的是,noindex 要真正生效,頁面得能被抓取。如果 robots.txt 把整個目錄屏蔽了,搜尋引擎讀不到頁面上的 noindex,反而可能因為外部連結等原因,仍然把它当作一個正常 URL 處理。所以一般建议:要移除索引的頁面,不要同时用 robots.txt 屏蔽抓取,让蜘蛛能進来讀到 noindex。

下线时最容易漏掉的几件事

  1. 站内連結還指着它。狀態碼改了,但導航、侧栏、正文里的連結没跟着改,用戶点進去還是死路,蜘蛛也會反复顺着連結過来確認。
  2. sitemap 里還带着它。已经下线的 URL 留在 sitemap 里,等于持續告诉搜尋引擎“這里還有内容”,和頁面實际狀態自相矛盾。
  3. 重定向鏈越接越長。A 跳到 B,B 又跳到 C,最後 C 是 404,這條鏈對用戶和抓取都不友好,尽量一步到位。
  4. 短時間下线大批頁面。如果站点本身收錄量不大,集中返回大量 410,可能让整站的抓取节奏慢上一段時間,可以按栏目分批處理,邊观察邊推進。

處理完之後的观察节奏

狀態碼改完不等于索引立刻干净。通常可以按這個顺序看:先確認頁面返回的狀態是否稳定,再核對站内入口和 sitemap 是否同步清理,然後過一段時間观察搜尋结果是否還在。中間出現“搜尋里還能看到,但点進去已经是 404”,属于正常的過渡狀態,不必急着反复改動。如果几周後仍然稳定存在,再回头检查是否有外部連結持續指向,或者是否存在其他地址返回 200 的同内容頁面。

小结:下线的關键不是删得快,而是让頁面狀態、站内連結、sitemap 三處保持一致。狀態清楚,收敛只是時間問题;狀態反复,再怎么提交也难有稳定结果。