過时頁面不會自己喊停

蜘蛛按計划来抓，你按計划更新，两邊看起来都在動。問题在于很多頁面從發布那天起就没再動過：價格改了三轮它還是老數字，产品換代了它還寫着上一代型号，政策更新了它還在引用舊條文。蜘蛛依然會定时抓，因為連結還在、狀態碼還是 200，只是抓回去的内容一年比一年没用。

這不算致命错誤，但它會慢慢挤压抓取效率。如果一批低價值、明顯過期的頁面持續被反复抓取，新頁面或者真正需要及时入库的内容就少了一份被照顾的机會。自查的目的不是把老頁面一刀切删掉，而是让每個還挂着的 URL 都有一個明确去向。

先圈出可疑頁面

不需要全站通讀，可以從几個信号入手：

• 正文里出現具体年份、版本号、價格、活動截止日期，而這些信息明顯属于過去；
• 同一個主题，站内已经有一篇更新的文章，但两篇都在线，彼此内容重叠；
• 頁面有大量内鏈指向，正文却已经空泛，只剩開头一段介绍；
• 抓取日誌里這些 URL 被频繁訪問，但對應頁面的實际訪問長期為零；
• 留言区里已经全是“這個還准吗”之類的疑問。

三種去向，先定規則再動手

能更新就更新

内容主体仍然成立、只是细节過时的頁面，最省事的做法是就地更新：換掉舊數字，补上新的變化，在文末注明更新時間。如果改動幅度比較大，可以在正文開头用一小段說明“本文已根據近期情况修订”，让回头再看的用戶知道自己讀的是新版本。更新完，把頁面的時間标记和站点地图里的時間字段一並同步，別只改正文。

主题重复就合並

两篇同類文章分散在两三個 URL 上，各自都不够完整，這是很常见的情况。與其两邊都小修小补，不如挑内容最扎實的一篇作為主頁面，把另一篇里有用的段落並進来，另一篇做 301 指向主頁面。合並时注意別把两篇的關键信息都丢掉，也不要简單粗暴地整段刪除。

没有保留價值就下线

临时活動頁、已停售的商品頁、已经失效的公告，如果對用戶没有任何延續價值，可以考虑下线。让它們返回 410 比返回一個空壳 200 更清楚；如果這些 URL 還有外部連結指向，或者属于某個栏目结构中的一环，用 301 指到相近的上級頁或替代頁更合适。關键是不要让它們繼續以正常頁面的身份留在站点地图里。

把更新当成例行工作

一次性清理解决不了長期問题，比較實际的做法是建一份简單的台帳：记錄頁面 URL、主题、上次更新時間、责任人、下次该检查的時間。比如價格類頁面按月看，教程類按季度看，政策相關的内容跟着外部變動走。台帳不必复杂，一張表格就够，重要的是有人認领、有固定周期。

日常更新完之後，顺手做几件事：检查站内連結有没有還指向已经被合並或下线的舊頁面；確認站点地图里對應的 URL 和狀態已经同步；如果是重点頁面，观察抓取日誌中它的訪問频率有没有變化。這几步花不了多少時間，却能让蜘蛛每次来都有新東西可拿。

内容时效自查的核心不是“删掉舊頁面”，而是给每個仍然存在的 URL 一個明确交代：它還在，而且它的内容值得被抓。