站点运营到一定阶段，總會有頁面需要下线：過期活動、合並後的舊栏目、改過结构的商品詳情。這些頁面處理方式不同，搜尋引擎收到的信号也不同。方法選错，轻則舊地址長期留在索引里占位，重則牵连同目錄下正常頁面的抓取與收錄。
先判断頁面属于哪種下线
動手之前，先把要下线的頁面归一下類，因為處理方式是由下线性质决定的，而不是由「我想让它消失」决定的。
- 内容作废，但有更合适的替代頁：例如两條舊公告合並成一條新公告。這種情况用 301 指向替代頁，把已有的權重和入口價值带過去。
- 内容彻底不再提供，並且没有替代：例如永久停止的报名頁、已停售且不會回归的商品頁。用 410 明确告知更干脆，404 也可以，语义上弱一些。
- 暂时隐藏，之後還會恢复：例如季节性活動頁。保留 URL 比删掉再恢复更省事，恢复後也不用重新积累。
- 頁面本身還要给用戶訪問，只是不想让它進搜尋结果：例如僅供内部或特定人群訪問的說明頁，用 noindex，而不是屏蔽抓取。
几種處理方式的信号差异
先理解這几種方式在搜尋引擎眼里分別意味着什么，再選，比事後返工要快得多。
- 301：告诉搜尋引擎這個地址已经永久換到了新地址，是内容迁移的首選。但跳轉目标必须内容相關，全部跳到首頁會被当成软 404 處理。
- 410：明确表示资源已永久移除。相比 404 更肯定，适合确定不再提供的内容。
- 404：表示找不到，可能是临时也可能是永久，语义模糊。用它下线也可以，但不如 410 清晰。
- noindex：让頁面繼續可訪問、可抓取，但不進入索引。它只對能被抓取到的頁面生效，且需要時間生效。
- robots.txt 屏蔽：阻止抓取，不负责移除索引。已经收錄的地址不會因為屏蔽就自動消失。
用 robots.txt 屏蔽一個已经收錄的頁面，搜尋引擎讀不到頁面上的 noindex，也確認不了頁面是否還在，舊索引條目往往比直接返回 410 停留得更久。
按顺序核對的清單
處理下线頁面时，建议按下面的顺序走一遍，能避開大部分反复。
- 確認有没有最贴近的替代頁。有，就走 301；没有，再考虑 410 或 404。
- 確認下线是不是临时的。如果是，先保留 URL，必要时加 noindex，不要先删再恢复。
- 检查是否要移除索引。需要移除时，让頁面返回 410 或 404，或返回 200 但带 noindex，不要用 robots.txt 替代。
- 清理站内入口。導航、侧栏、相關推荐、面包屑、分頁、站内搜尋结果頁里的連結都要一並撤掉，避免内鏈指向死鏈。
- 更新站点地图。站点地图里還留着已下线的 URL，等于持續把蜘蛛引向一個不存在的地址。
- 處理已有外鏈較多的舊地址。外鏈不受你控制，這類地址優先用 301，而不是直接 404。
- 核對多端與多入口。移動端、PC 端、带參數版本、測試域名下的同一頁面，都要按同样方式處理。
- 观察一段時間的索引狀態。用站点查询、索引报告和服務器日誌交叉看，確認舊地址條目在减少、新地址承接正常。
容易踩的几個坑
- 頁面直接删掉返回 404，站点地图和内鏈却原封不動。既影响用戶，也让蜘蛛反复撞空。
- 批量 301 全部指向首頁。這種「什么都跳首頁」的做法通常不會被当作正常迁移。
- 為了快速下架，先用 robots.txt 屏蔽，過一阵才想起来要移除索引，白等一段時間。
- 批量加 noindex 後忘记撤掉，後續内容恢复更新却一直不進索引。
- 只處理了 PC 端 URL，移動端地址仍在提供内容，形成新的重复入口。
收尾與复查
下线本身是一次性動作，但索引狀態的更新需要時間，且不同頁面快慢不一。建议按批次處理，记錄每個 URL 的處理日期、處理方式和跳轉目标，之後隔几周复查一次，而不是每天反复調整。复查时重点看三件事：舊地址是否仍能通過站内鏈路被訪問到、站点地图是否已同步、索引里是否還残留着指向舊地址的條目。把這三項對上，頁面下线這件事基本就算收尾了。