有些頁面内容不差,服務器也正常,但蜘蛛很久都不来一次。原因往往不是被 robots 挡住,也不是返回了错誤碼,而是站内没有任何連結指向它——這類頁面通常被称為孤岛頁面(孤儿頁)。對訪客来说,它們只能靠站内搜尋或外部連結進入;對蜘蛛来说,没有入口就等于不存在。
孤岛頁面是怎么出現的
孤岛頁面很少是有人故意做出来的,多半是站点變化過程中留下的:
- 改版或栏目調整:舊栏目撤掉後頁面本身保留了,但導航、列表、面包屑里指向它的連結被一起删了。
- 批量導入内容:從舊站或後台批量導入的文章,只有 URL 和正文,没有分配到任何栏目列表。
- 只靠站内搜尋的頁面:篩選结果、标簽聚合、专题頁只有搜尋入口,没有静態連結。
- 只寫進了站点地图:sitemap 是辅助發現手段,不能代替頁面里的入口。
- 只被外鏈指向:外部連結能带来訪客,但站内结构里依然是空白。
怎么把孤岛頁面找出来
思路是做一次“地址對帳”:一邊是站点里實际存在的 URL 清單,一邊是站内有内鏈指向的 URL 清單,取差集。具体可以這样做:
- 用站点地图、後台内容列表或資料库導出一份全站 URL。
- 用抓取工具或站内爬取脚本跑一遍,记錄每個 URL 的入鏈數量。
- 把入鏈數為 0 的頁面單獨列出来,再和服務器日誌對照:這些地址最近 90 天有没有蜘蛛来過。
- 如果日誌里長期没有抓取记錄,基本可以確認是孤岛。
還有一個简單的旁證:在站内搜尋框里搜頁面的核心關鍵詞,如果它排不進任何自然结果,必须精确輸入标题才能找到,說明它缺少被連結的路径。
提示:孤岛頁面不等于低质量頁面。判断要不要救,先看内容是否還有訪問價值,再决定挂連結還是合並、下架。
补救的常见做法
找到之後,不一定要给每個頁面都硬塞連結。優先選擇與内容主题真正相關的位置:
- 在相關文章正文里做自然引用,锚文本用對方頁面的主题词,而不是“点击這里”。
- 把頁面归入合适的栏目列表或标簽聚合頁,让它至少有一個稳定的上級入口。
- 在相關推荐位、上下篇、同系列文章模块中挂上連結,注意數量別失控。
- 如果頁面属于某個专题,可以在专题首頁做一個入口区块,而不是散落在各處。
如果内容已经過期、重复或明顯没有價值,更合理的處理是合並到相近頁面並做 301,或者直接下架,而不是為了凑内鏈把它接回结构里。
挂完連結之後要复查
补内鏈不是一次性的動作。加完之後,隔一段時間回到日誌里看看:
- 這些 URL 是否開始出現抓取记錄,抓取频次有没有變化。
- 新加的連結是否被正常抓取,頁面有没有因為层級太深而依舊進不去。
- 頁面是否進入索引,這類判断只看趋势,別当成精确结论。
同时也要注意別把“补内鏈”做成批量堆連結。短期内给大量頁面加同一種推荐模块,容易让模板連結泛滥,反而稀释了真正重要的入口。
日常怎么避免再产生孤岛
把入口检查和内容發布绑在一起:新頁面發布时就確認它至少有一個栏目列表入口和一個相關内容入口;栏目調整或頁面下架时,顺手检查有没有頁面因此失去全部入鏈;定期(比如每季度)跑一次入鏈為 0 的清單。這样比等到流量下滑再回头翻日誌要省事得多。