有些地址在索引里能查到,站内却没有任何連結指向它。這類頁面通常叫孤岛頁面,也叫孤儿頁面。它能被收錄,多半是靠 sitemap、外鏈,或者歷史上的内鏈残留。等這些路径消失以後,抓取和更新就會慢慢停下来。下面按先確認、再判断、後补鏈的顺序来说。
先確認:它是不是真的没有入口
別急着补鏈,先花几分钟把發現路径核一遍。很多頁面並不是孤岛,只是入口藏得比較深。
- 站内導航和栏目頁:逐級点開,看能不能走到這個地址。
- 相關推荐、上一篇/下一篇、标簽頁等模块:這些位置经常才是實际入口。
- 站内搜尋:如果搜品牌词或标题能出来,說明搜尋頁在提供入口,但這種入口不稳定。
- sitemap 和外鏈:只能算辅助路径,不能替代内容頁之間的連結。
- 抓取日誌:看最近的抓取来自哪個地址,能直接判断爬虫是從哪儿發現它的。
如果只有一個 sitemap 在指向它,本质上還是孤岛。
孤岛頁面常见的两種来源
連結被誤删
改版、栏目調整、内容合並的时候,正文里的連結被顺手删掉,頁面本身還在。這類頁面内容往往不差,只是失去了入口。
批量生成的地址
篩選结果、标簽组合、舊版本頁面留下的地址。這類頁面彼此高度相似,本身價值有限,补鏈反而會把重复内容铺開。
再判断:這個頁面值不值得留
孤岛狀態本身不是問题,問题是没入口和内容差经常同时出現。可以先按三档處理:
- 值得保留:有明确搜尋需求、有轉化、有獨立信息增量的頁面,补内鏈。
- 可以合並:内容和另一篇高度重合,把有用的部分並過去,舊地址做 301。
- 應当清理:過时的活動頁、無意义的參數頁,用 410 或 301 收口。
判断信息增量时,不要只看字數,要看它是否回答了別的頁面没回答的問题。
补内鏈的顺序
补鏈不是到處塞連結,而是從最相關的地方開始。
- 同一主题的正文里加自然連結,锚文本用描述性文字,不要用点击這里這類寫法。
- 上級栏目頁或目錄頁,把它加進列表,前提是它确實属于這個栏目。
- 相關推荐模块,按主题關联度排,不要全站随机推荐。
- sitemap 作為兜底,最後確認它有没有被收錄進去。
不建议用頁脚連結堆、隐藏連結、互換連結来补入口。這類做法對索引没有帮助,還可能带来額外風險。
處理之後的核對方式
补鏈之後不需要每天查。比較稳妥的做法是:
- 過一两周看一次抓取日誌,確認爬虫确實從新入口走到了這個地址。
- 检查索引狀態是已编入索引,還是已發現但未编入索引,後者說明還需要更多信号。
- 如果頁面属于合並或清理那一档,重点看舊地址是否正确返回 301 或 410,而不是纠结它還出現在索引里多久。
孤岛頁面往往不是技術問题,而是内容结构調整留下的尾巴。先想清楚這個頁面還要不要,再决定补鏈還是收口,比單纯加連結更有用。