網站跑上一两年，改版、栏目合並、活動下架、商品清仓，都會留下一些再也打不開的地址。這些地址如果一直返回正常頁面或含糊的跳轉，用戶和搜尋蜘蛛都會反复撞上来。定期做一次失效頁面自查，是站点运营里成本不高、收益却比較直接的一件事。
先分清 404、410 和“软 404”
服務器返回的狀態碼，是判断一個地址是否真正失效的第一依據。
- 404 Not Found：资源不存在，但以後可能出現。适合临时下架、待补内容的頁面。
- 410 Gone：资源已永久移除，不會再提供。适合明确不再上线的活動頁、停售商品頁。
- 软 404：地址返回 200，但頁面内容是“找不到该頁面”之類的提示。這類頁面最容易让蜘蛛誤以為仍有内容，持續抓取却拿不到有效信息。
需要提醒的是，410 與 404 在抓取层面的差异並没有夸張到“一用就消失”。選哪個，主要看你對這個地址未来是否還會恢复的判断，而不是追求某個狀態碼的“神奇效果”。
常见的失效来源
排查前先知道坑一般出在哪，效率會高很多。
- 改版时 URL 規則變化，舊路径没有做映射，直接變成了 404。
- 栏目撤並後，栏目頁和列表分頁仍留在 Sitemap 或内鏈里。
- 活動頁、专题頁到期下线，但没有统一處理入口。
- 商品、文章刪除後，相關推荐模块仍然指向已刪除地址。
- 外鏈或合作方引用了已经變更的地址，形成外部死鏈。
- 大小寫、斜杠、參數寫法不一致，導致同一内容出現多個失效變体。
自查的入手顺序
建议從資料源往頁面走，一层层缩小范围。
- 看服務器日誌里的 404 與 410 记錄，按路径聚合，找出請求量靠前的地址。
- 用站点爬取工具跑一遍站内連結，導出返回 4xx 的頁面清單。
- 核對 Sitemap 和站内導航、面包屑、相關推荐里是否還残留這些地址。
- 检查自定义 404 頁面是否返回了正确的狀態碼，而不是一律 200。
- 抽查搜尋结果頁里仍然存在的舊地址，判断是否需要重定向。
處理策略：修复、重定向還是保留
不是所有失效頁面都要救回来。按下面的顺序判断，比較省事。
- 有明确替代頁面的，做 301 指向最相關的新地址，不要全部跳首頁。
- 确定永久不再提供的，返回 410，並從内鏈、Sitemap、推荐模块中移除引用。
- 只是临时下线的，返回 404，等恢复後再上线，不必急着 301。
- 大量無規律失效的，先停止在站内繼續产生新死鏈，再逐步清理存量。
把一堆不相關的舊地址 301 到首頁，用戶看到的是首頁，蜘蛛拿到的也是首頁，這類跳轉對双方都没有帮助，反而會稀释首頁的目标主题。
別让 404 頁面本身成為問题
自定义 404 頁面值得花点心思，但要点不在于“好看”。
- 狀態碼必须是 404 或 410，不能返回 200。
- 頁面里给出返回首頁、栏目頁或搜尋框的入口，减少用戶直接离開。
- 不要在這個頁面上放大量推荐内容，避免被当成正常内容頁抓取。
- 如果站点有多個語言或子站，404 頁面也要保持一致的品牌與導航。
把检查變成固定動作
失效頁面不是一次性問题，改版、下架、合並随时會产生新的。比較實际的做法是：每次内容下线或改版後，顺手记錄受影响地址；每月從日誌里拉一次 4xx 排行；每季度用爬虫工具掃一遍全站死鏈。做到這三点，通常就能把大部分無意义的抓取和用戶流失挡在门外。
最後提醒一句，處理失效頁面不會直接带来排名提升，它的價值在于减少浪費、保持站内連結指向清晰。把它当成日常维護的一部分，比指望某個狀態碼带来奇效更靠谱。