孤岛頁面(Orphan Page)指的是站内没有任何連結指向的頁面。它能正常返回 200,甚至被寫進了站点地图,但從首頁出發沿着連結一层层点,永遠走不到。對訪客来说是找不到的内容,對蜘蛛来说只能靠站点地图或外部連結偶然撞见。
常见来源
- 栏目改版:導航菜單換了结构,舊栏目頁還留在线上,但没有任何入口鏈過去。
- 發布流程断层:新内容只提交了站点地图,没有從相關舊内容里鏈出来。
- 聚合頁與标簽頁:由程序自動生成,但列表頁、詳情頁都没有指向它們的連結。
- 地址搬迁:内容換了目錄,新地址没有被站内任何位置鏈到,舊地址却還在。
- 活動頁與专题頁:下线後没有归档,入口連結被撤掉,頁面繼續留在服務器上。
怎么把它們找出来
最直接的办法是做一次“爬取结果”和“站点地图”的對比:用爬虫從首頁出發抓一遍全站,導出實际爬到的 URL 列表;再和站点地图、後台已發布内容列表對照,只在其中一邊出現的地址,就是重点怀疑對象。服務器日誌可以做辅助,观察哪些地址長期没有来自站内的来源頁面。
站内搜尋的後台记錄也值得翻一翻。用戶反复搜尋却点不到结果的關鍵詞,往往說明相關内容存在,只是入口太深或者根本没有入口。
补鏈的几條原則
- 就近补鏈:從主题最相關的頁面里加連結,不要為了省事在頁脚、侧栏批量堆一串。
- 上下文優先:正文里的自然引用,比導航位和推荐位更容易被点,也更便于蜘蛛判断相關性。
- 路径要短:重要内容尽量控制在三次点击以内能從首頁到達。
- 双向补充:新内容發布时,先從两三個相關舊頁鏈到新頁,再考虑從新頁回鏈舊頁。
确實没有價值的頁面
不是所有孤岛都值得救。如果一篇内容已经過期、與現有主题無關,硬塞一條内鏈只會让站内结构更乱。這種情况下更合适的是合並到相近主题、設定 301 指向接替頁面,或者直接下线返回 410。放着不管才是最差的選擇,它會持續占用抓取资源,也可能被用戶從舊連結点進来看到過时信息。
把它變成日常動作
- 每月固定做一次爬取结果與站点地图的對比,记錄新增的孤岛頁面。
- 在内容發布清單里加一條:為這篇新内容找出至少两個站内引用位置。
- 調整栏目或更換地址时,顺手检查舊入口是否還指向有效頁面。
- 内鏈补完後,從已被收錄的頁面重新触發一次抓取,別指望蜘蛛自己發現變化。
内鏈不是越多越好。一條放在正文里的相關連結,價值通常高于十條堆在頁脚的泛連結。