站点里總有一些頁面，Sitemap 里列着，偶尔也能被搜到，但抓取日誌里几乎看不到搜尋蜘蛛的訪問记錄。這類頁面常被称作“孤岛頁面”：它没有被任何可抓取的連結指向，只能靠 Sitemap 或外鏈被偶然發現。對依赖蜘蛛池和自然抓取来推動 URL 發現的站点来说，孤岛頁面會長期占着抓取预算，却很难形成稳定的抓取节奏。
孤岛頁面是怎么形成的
- 内容發布後只從首頁或列表頁撤下，原入口消失，頁面 URL 仍然可以訪問；
- CMS 自動生成的标簽頁、作者頁、归档頁没有稳定的上級栏目連結；
- 改版或栏目重组时，舊連結被刪除，但没有保留指向新路径的入口；
- 站内搜尋、篩選參數生成的頁面被当成正式内容，却没有内鏈出口；
- Sitemap 由程序全量生成，和實际内鏈结构脱节，把孤岛頁面一並提交。
這些情况有一個共同点：頁面的可訪問性没問题，缺的是從站点主連結網絡回到它的路径。抓取工具沿着連結走，走不到的地方就只能等 Sitemap 提醒，優先級自然偏低。
找出孤岛頁面的几個办法
- 從服務器抓取日誌中，提取一段時間内搜尋蜘蛛訪問過的 URL 集合；
- 用 Sitemap 的 URL 全集减去日誌抓取集合，差集就是長期未被抓取的候選；
- 用站内爬虫再抓一遍站点，记錄每個 URL 的入鏈數量，入鏈為零的基本就是孤岛；
- 交叉比對後，優先處理有搜尋需求、内容质量尚可但没有入鏈的頁面。
日誌和入鏈統計要放在一起看。只看日誌，容易把“訪問過但没被收錄”和“根本没被抓取”混為一谈；只看爬虫结果，又無法判断抓取調度是否已经放弃這些 URL。
补入口时優先做的事
恢复栏目层級
先给孤岛頁面找到归属栏目，並在该栏目的列表頁或聚合頁中给出稳定入口。如果内容属于某個系列，就把它挂回系列導航里，让层級路径重新成立。
用正文相關連結代替底部堆积
在主题相近的頁面正文中加自然的相關推荐，通常比在頁脚堆一長串全站連結更有效。連結文本要和目标頁面主题一致，避免使用“点击這里”這類没有语义的锚文本。
标簽頁和聚合頁要可控
标簽、专题這類聚合頁如果本身有入口，可以作為孤岛頁面的二級入口。但要控制數量，避免生成大量内容稀薄的中間頁，反過来稀释抓取路径。
面包屑與導航兜底
面包屑不只是展示元素，它同时是一條稳定的层級路径。让每個内容頁都能通過導航或面包屑至少回到一個可抓取的列表頁，頁面就不會完全悬空。
Sitemap 作為保底，而不是唯一入口
Sitemap 有助于發現，但不等同于抓取優先級。真正的發現效率還是来自站内連結。可以保留 Sitemap，同时把内鏈补齐，两者是配合關系，不要互相替代。
补完之後怎么驗證
- 重新查看抓取日誌，观察目标 URL 是否開始出現訪問记錄；
- 確認入鏈數量從 0 變成稳定值，而不是靠單次外鏈临时带入；
- 检查新增入口是否带来大量重复參數 URL，如有則及时做归一化處理；
- 如果頁面确實没有检索價值，考虑直接下线並返回合适的 404 或 410，而不是長期留在 Sitemap 里。
驗證时也要留意服務器返回時間。入口补齐後如果頁面响應偏慢，蜘蛛可能走到一半就放弃，抓取记錄會断續出現，看起来像没补成功，實际是响應性能在拖後腿。
孤岛頁面本质上是連結结构問题，不是提交問题。與其反复提交 Sitemap，不如先把每個值得被收錄的頁面接回站点的主連結網絡中。