很多站長會遇到一種情况:某個頁面明明已经在 sitemap 里提交過,URL 也能正常打開,但搜尋蜘蛛就是迟迟不来,或者来了也停在“已發現”不動。排查了一圈服務器和狀態碼都没問题,最後發現真正的原因是——站内没有任何一個頁面連結指向它。這類頁面通常被称為“孤岛頁面”。
孤岛頁面是怎么形成的
孤岛頁面不一定是新頁面,常见的来源有几種:
- 栏目改版後,舊路径還活着,但導航里已经没有它的入口;
- 活動頁、专题頁上线时只發了外鏈和 sitemap,站内没有做任何跳轉;
- 内容頁是從其他站点批量導入或程序生成的,没有被任何列表頁收錄;
- 分頁較深的頁面,前一頁的“下一頁”連結断了,鏈條中間出現缺口。
這些頁面的共同点是:在站内 HTML 的連結關系里,它們是獨立的点,没有入鏈。
sitemap 管“發現”,内鏈管“值不值得抓”
這两件事经常被混在一起。sitemap 的作用是把 URL 告诉搜尋引擎,解决“知道有這個地址”的問题;而站内連結除了提供發現路径,還带着一层排序信息——被更多相關頁面連結的 URL,通常會被認為更值得優先抓取。
所以會出現這样的現象:同一個 sitemap 里提交了一千個 URL,有内鏈的那部分很快被抓,没有内鏈的那部分長時間没有動静。這不是 sitemap 失效,而是抓取预算在分配时,内鏈數量是一個很直接的參考。
sitemap 是提交清單,内鏈是推荐信。只有清單没有推荐,蜘蛛通常會把它們排在後面。
怎么找出站内的孤岛頁面
比較稳妥的做法是從几個方向交叉检查:
- 用站内搜尋或 site: 查询,把已收錄 URL 列表導出来,跟 sitemap 里的 URL 做差集;
- 看服務器日誌,筛出“只有 sitemap 抓取记錄、没有真實点击路径”的 URL;
- 用爬虫工具跑一遍全站,检查哪些頁面入鏈數為 0;
- 人工抽查几個重要頁面,確認從首頁能不能在三次点击内到達。
這样比只看收錄數字更有效,因為能定位到具体是哪些 URL 缺入口。
修复顺序:先补入口,再谈提交
- 先確認頁面本身值得收。如果内容單薄、和其他頁面高度重复,正确的做法是合並或刪除,而不是硬加連結把它推進索引。
- 找相關頁面做上下文連結。優先從主题相近的内容里加正文内鏈,而不是在頁脚堆一排連結。
- 补结构化入口。面包屑、分類頁、相關推荐模块、标簽聚合,都能给頁面提供稳定的入鏈路径。
- 重建後再提交。让 sitemap 和站内連結同时指向该 URL,過一段時間观察日誌里是否出現正常抓取。
几個常见誤区
- 以為提交 sitemap 就等于通知收錄,反复提交同一個文件意义不大;
- 為了补内鏈在頁脚、侧栏批量加全站連結,這類連結的推荐作用很有限;
- 頁面被收錄後又撤掉所有内鏈,可能導致重新抓取频率下降;
- 把孤岛問题当成服務器問题處理,反复检查狀態碼,方向跑偏。
孤岛頁面本质上不是技術故障,而是站点结构問题。把入口补上,让連結關系恢复,收錄情况通常會跟着改善,但具体時間仍取决于頁面质量和抓取节奏,不能指望一次性解决。