網站里常有這样一類頁面:地址能正常打開,内容也不算差,但從首頁一路点下去,永遠走不到它。它只出現在站点地图里,或者只被外部連結指過一两次。這類頁面常被叫做「孤儿頁面」。它們不一定马上出問题,却會让抓取路径和用戶浏览路径都變得別扭。
孤儿頁面是怎么形成的
大多數孤儿頁面不是刻意做出来的,而是改版、合並栏目、下架专题时留下的痕迹。
- 栏目改版时,舊栏目的列表頁被下线,但栏目内的文章還挂着,内鏈入口一起消失。
- 内容從列表頁挪到了新的聚合頁,舊頁面只保留了地址,没有补新的入口。
- 編輯為了赶时效先發一篇稿,打算之後挂進列表,结果忘了。
- 专题頁、活動頁結束後,入口被撤掉,頁面本身没有處理。
- 模板調整时某個模块被刪除,原本依赖這個模块曝光的頁面全成了孤岛。
怎么把孤儿頁面找出来
手工翻站很难查全,通常用几個資料源交叉比對。
- 把站点地图里的地址導出,和抓取工具跑出的内鏈图對比。站点地图里有、内鏈图里没有任何入鏈的地址,是重点怀疑對象。
- 翻抓取日誌。看某個頁面的抓取记錄,如果来源基本都是站点地图或外部連結,說明站内没把它带出来。
- 抽查栏目模板。把「该栏目實际有多少條内容」和「列表頁能点到的條數」對一下,差值往往就是找不到入口的頁面。
- 定期跑一次全站爬取,把入鏈數為 0 的地址單獨存成清單,比每次靠记忆排查省事。
找到之後怎么處理
孤儿頁面不等于废頁面,先判断它的價值,再决定動作。
- 有搜尋需求、内容仍然成立:补内鏈。找内容相關的頁面加一到两個正文連結,或者把它挂回對應的列表頁、相關阅讀模块。
- 與別的頁面高度重复:合並到主頁面,舊地址做 301 指向主頁面。
- 时效已過、没有保留價值:直接下架,返回 404 或 410 都可以,關键是別让它繼續挂在站点地图里。
- 有外部連結和訪問量:不要轻易刪除,至少保留地址並补上站内入口,或者重定向到内容最接近的頁面。
防复發:上线时就確認入口
孤儿頁面多半是發布流程漏了一步。可以在發布环节加几條固定動作:
- 新頁面發布前,確認至少存在一條可從首頁到達的路径,並且路径上每一层都能正常点击。
- 下线栏目或模块时,顺手检查依赖它的頁面,別只删入口、不處理内容。
- 站点地图由程序生成时,让它只收錄有内鏈入口的地址,或者定期和實际入鏈資料做一次比對。
- 把「入鏈數為 0」纳入月度巡检項,跟 404、5xx 一起看。
孤儿頁面本身不會立刻带来明顯後果,但它會让抓取预算花在绕路上,也让用戶难以從相關内容繼續浏览。發現一個补一個,比等它變成長期没有入口的存量内容更省事。