站点里常有一類頁面：内容本身没問题，也能正常訪問，但除了 Sitemap 或某次站外分享，几乎没有任何站内連結指向它。這類頁面通常被称為孤岛頁面。對搜尋蜘蛛来说，它不一定是抓不到的問题，更多是想不到的問题——發現入口太窄，抓取队列里自然排不上号。
孤岛 URL 為什么难被發現
搜尋蜘蛛的常規路径是顺着連結走：從已知入口出發，解析頁面上的可抓取連結，把新地址放進待抓队列。一個頁面如果没有被任何已抓取頁面連結，就只能依赖 Sitemap、站外連結、歷史记錄這些旁路入口。旁路入口不是不能用，但它們缺少上下文：蜘蛛不知道這個頁面属于哪個栏目、和哪些内容相關，也就难以判断抓取優先級和重訪频率。
结果是，頁面可能被發現了，但抓取和更新都慢；也可能長期停留在已知未抓的狀態。
常见的孤岛成因
- 頁面只從列表頁第 N 頁可達，而分頁連結靠 JS 或复杂參數輸出，蜘蛛走不到那一层；
- 活動頁、专题頁做完就撤掉入口，連結只剩在 Sitemap 里；
- 改版或栏目調整後，舊連結被移除，新頁面忘了补回導航或正文内鏈；
- 後台批量生成的内容頁，只寫了 URL，没有在聚合頁挂出入口；
- 文章之間互相引用不足，正文里几乎没有指向同類内容的連結；
- 頁面被放進折叠菜單、彈窗或 tab 里，連結在初始 HTML 中並不存在。
怎么把孤岛找出来
思路不复杂，核心是把站点認為自己有哪些 URL，和蜘蛛實际能顺着連結走到哪些 URL，做一次對照。
- 導出 Sitemap 中的 URL 列表，作為候選全集；
- 用爬虫工具從首頁出發，记錄可以顺着連結走到的内鏈图；
- 两者相减，只出現在 Sitemap、不出現在内鏈图里的地址，基本就是孤岛候選；
- 再用服務器日誌交叉驗證：如果某個 URL 長期没有来自站内的 referer，判断會更可靠。
這一步不需要复杂工具，中小站点用爬虫類工具跑一遍全站，再人工比對就能看出大致轮廓。
补救入口的几個方向
1. 补内鏈，而且要带上上下文
最直接的做法是在相關文章正文、栏目聚合頁、标簽頁里加上指向孤岛頁面的連結。锚文本尽量描述頁面主题，而不是清一色的点击這里。連結位置往往比數量更重要：正文里的自然引用，通常比頁脚堆一排連結更有說明力。
2. 建聚合入口
如果孤岛頁面是一批同類内容，做一個分類頁或索引頁把它們列出来，让蜘蛛從一個层級清晰的入口批量進入。這比逐個頁面补内鏈省事，也更容易長期维護。
3. 保證分頁與列表入口可抓
列表頁翻到深處的連結，尽量用标准 a 标簽輸出，避免只能靠交互触發。如果确實走前端加载，至少保證初始 HTML 里存在通往後續頁面的路径。
4. Sitemap 繼續用，但別当唯一入口
Sitemap 能补充發現，但它提供的是地址清單，不是連結關系。全站只靠 Sitemap 暴露的頁面，長期看抓取和更新都不會太理想。
几個容易踩的坑
- 為了消除孤岛，在每篇文章底部机械堆砌無關連結，反而稀释了真正重要的入口；
- 把孤岛頁面全部塞進主導航，導航失去重点，用戶和蜘蛛都难以判断层級；
- 只补連結不检查可訪問性，連結指向的頁面本身返回異常狀態碼，等于白补；
- 改版时只保留新 URL，舊連結既不做 301 也不保留入口，歷史积累的發現路径直接断掉。
孤岛頁面不是必须彻底消灭的東西。一些低频、临时、僅在特定條件下使用的頁面，可以接受只通過 Sitemap 或站外入口被發現。真正需要關注的是那些有业務價值、却因為内鏈疏忽而長期不被抓取的頁面。
小结
URL 發現的第一驱動力始终是連結。把站内連結结构理顺，让重要頁面從几個稳定入口都能被走到，比反复提交 Sitemap 更管用。定期做一次内鏈图與 Sitemap 的對照，就能提前發現大部分孤岛問题。