站点里经常有這類頁面：URL 能正常訪問，Sitemap 里也寫了，但從首頁、栏目頁和其他内容頁都找不到一條連結指向它。它們不是打不開，也不是被 robots.txt 拦住，只是没有一條持續的内鏈路径。這類頁面可以叫孤岛頁面。
孤岛頁面是怎么出現的
常见来源有几類：早期發布後改版删掉了入口；活動頁下线但地址保留；商品 SKU 或文章詳情只靠站内搜尋才能到達；分頁、篩選组合生成的深层 URL 没有被任何列表頁引用。它們往往有内容，也有标题，但蜘蛛從首頁一路走下来时，走不到它們。
蜘蛛發現 URL 的几種方式
蜘蛛拿到一個 URL，不等于會马上、频繁地抓它。常见發現路径包括：
- Sitemap：能一次性提交大量地址，但只是“候選清單”，不保證抓取顺序和频次。
- 外鏈：從其他站点指向孤岛頁，蜘蛛可能顺着外鏈進来，但外鏈不稳定，頁面本身缺少站内入口。
- 提交入口：适合新 URL 或更新通知，有时效性，不适合長期替代内鏈。
- 内鏈：蜘蛛在站内持續行走的主要路径，也是最稳定的發現方式。
所以，孤岛頁面通常不是完全不被抓，而是排得比較靠後。它需要蜘蛛“額外想起来”才會被訪問，回訪間隔也可能拉長。
從日誌里看孤岛頁面的抓取表現
如果你观察服務器日誌，常會看到這些現象：孤岛 URL 的抓取次數明顯少于同层級有内鏈的頁面；回訪間隔不稳定，有时几周才来一次；蜘蛛在首頁和热门栏目頁反复走，却很少穿過某個断层進入孤岛区域。這不一定是服務器慢，也不一定是内容差，而是缺少一條让它顺路走進去的路径。
没有内鏈的頁面，蜘蛛需要額外理由才會走進去；Sitemap 能提交地址，但替代不了站内路径。
把孤岛頁面接回抓取路径
- 從相關主题頁加正文内鏈。找到與孤岛頁主题最接近的文章或栏目，在正文中自然插入連結。位置比數量重要，放在相關段落里，蜘蛛和用戶都更容易理解。
- 用聚合頁或栏目頁做二級入口。如果孤岛頁數量多，可以按主题、時間或類型做列表頁，让它們從首頁经两三层内鏈可達。
- 检查分頁和篩選路径。深层頁不要只靠參數组合被發現。關键内容尽量有静態列表入口，避免蜘蛛走到一半没有可跟的連結。
- Sitemap 保底，但保持字段真實。把孤岛 URL 放進 Sitemap 有價值，尤其是新頁面。lastmod 要反映真實更新，不要每次生成都改時間。
- 提交入口只做补充。新 URL 或重要更新可以提交，但長期抓取仍要依赖内鏈和站点结构。
内鏈不是越多越好
把孤岛頁面接回来後，不必在同一頁面堆大量連結。更實用的做法是：同一主题下選几個最相關的頁面互相連結；在列表頁保持稳定入口；避免用“相關推荐”一次性塞几十個不相關的 URL。蜘蛛會沿着連結走，但也會判断連結上下文和頁面相關性。
日常检查可以看什么
- 用站点爬虫只按内鏈走一遍，看哪些 URL 無法從首頁到達。
- 在日誌中對比有内鏈頁面與孤岛頁面的抓取次數、回訪間隔。
- 核對 Sitemap 中的 URL 與内鏈覆盖范围，找出長期只靠 Sitemap 的頁面。
- 改版、下线栏目或調整分頁後，重新检查一遍入口是否還在。
孤岛頁面的問题，通常不是“蜘蛛不認识這個 URL”，而是“蜘蛛没有一條顺路的理由走過去”。把内鏈、聚合頁和 Sitemap 配合起来，頁面才有机會回到正常的抓取节奏里。