什么是孤岛頁面
孤岛頁面通常指没有站内連結指向的頁面。它可能能直接打開，也可能存在于服務器上，但在站点的連結图里找不到一條從首頁或其他已抓取頁面通向它的路径。蜘蛛發現 URL 主要靠顺着連結走，其次是 Sitemap 和主動提交。一個頁面如果這三條路都断了，被發現的概率就會明顯下降。
孤岛頁面常见的几種成因
- 改版时删了栏目，頁面却保留：舊列表頁下线，詳情頁還在，連結入口一起消失。
- 詳情頁只靠站内搜尋到達：搜尋结果是動態生成，蜘蛛通常不會把搜尋框当成稳定入口。
- 分頁太深：列表只顯示前几頁，後面的頁面没有“下一頁”或分段連結。
- 标簽、归档頁没有入口：這些聚合頁本身没有被導航或文章内鏈引用。
- Sitemap 没有更新：新頁面生成後未寫入 Sitemap，舊頁面也没做跳轉或下线處理。
怎么找出這些頁面
第一步是拿現有頁面清單和連結图做對比。可以從 Sitemap、資料库或後台導出全部 URL，再用站内爬行工具從首頁出發抓一遍，看哪些 URL 没有出現在任何内鏈中。
第二步看訪問日誌。如果某個 URL 長期只有你自己或少數用戶訪問，蜘蛛的 User-Agent 几乎没有出現，說明它没有被稳定發現。日誌里還能看到蜘蛛真正走過的路径，比單纯看目錄结构更接近實际。
第三步检查 Sitemap 與 robots.txt。Sitemap 里寫了但站内没有連結，蜘蛛仍可能抓到，但抓取频率和重訪往往不如有内鏈的頁面稳定。如果 robots.txt 誤屏蔽了某個目錄，那就不只是孤岛，而是主動拦截。
补救时的几個動作
- 补一條就近的内鏈：在相關文章、栏目頁或专题頁里加入指向孤岛頁面的連結，锚文本要能說明目标頁主题。
- 恢复面包屑與上級入口：让頁面回到栏目层級中，而不是只靠 URL 直接訪問。
- 给列表頁加分段或“查看更多”：如果歷史内容很多，至少让前若干頁能走到後面的分頁。
- 更新 Sitemap：把確認要保留的頁面寫入，並保持 lastmod 與真實更新時間一致。
- 用相關推荐、热门内容、标簽聚合补充入口：注意控制數量，避免每頁堆上百條連結。
补内鏈不是越多越好。一個頁面被几十個不相關的連結同时指向，蜘蛛會重新判断它的位置和重要性；更稳妥的做法是從主题相關的頁面逐步加入。
加完連結後怎么观察
补連結之後，不要马上認為問题解决了。先观察日誌中该 URL 的抓取次數是否增加，再看蜘蛛是否開始沿着新入口訪問同一批頁面。如果只有 Sitemap 提交、没有内鏈，蜘蛛可能只来一次；内鏈稳定後，重訪才會更規律。
對于确實不需要保留的孤岛頁面，更合适的處理是 301 到相關頁面，或返回 410 明确下线，而不是让它繼續留在服務器上被偶然發現。站点越大，越需要定期做一次連結图清理，把新增頁面和失效頁面都纳入检查范围。