站内總有一些頁面處于孤立狀態：它能被直接訪問，却没有任何内鏈指向。對用戶来说不一定有影响，對蜘蛛来说，這類 URL 進入抓取队列的机會明顯更小。這篇内容聊三件事：蜘蛛發現 URL 的入口到底有哪些，孤岛頁面卡在哪一步，以及可以怎么补救。
蜘蛛發現 URL 的入口不止一個
很多人預設 Sitemap 就是 URL 的唯一来源，實际上蜘蛛获取新地址的渠道是並行存在的：
- 站外連結：通常是一個域名最早被發現的途径，决定了蜘蛛第一次来不来；
- Sitemap：批量提交、覆盖面广，但它更像一份待办清單，不保證顺序和时效；
- 站内連結：導航、列表頁、相關推荐、面包屑，是持續發現新頁面的主要来源；
- RSS / Atom：更新频繁的内容站，feed 往往比 Sitemap 更快反映出新文章；
- 站内搜尋頁：如果搜尋頁對蜘蛛開放，它也可能顺着带參數的連結爬到内容頁；
- 歷史抓取：蜘蛛已收錄的 URL 集合會持續被复用，舊頁面上的新連結也會被跟進。
這些入口的分工不同。外鏈负责把蜘蛛引来，内鏈决定它来了之後能走多深、多快，Sitemap 负责兜底。
孤岛頁面卡在哪一步
孤岛 URL 的問题不是绝對抓不到，而是没有接入任何一條常規路径：
- 没有内鏈，蜘蛛只能靠 Sitemap 或偶然的外鏈知道它存在；
- 即便知道了，也缺少連結上下文，很难判断它属于哪個栏目、和哪些頁面相關；
- 長期没有入口的頁面，抓取優先級通常排在热门栏目之後，更新後回訪也更慢。
结果就是這類頁面在日誌里出現频率极低，有时几周都不见一次。
把孤岛接回站内结构的几種做法
思路很简單：给每個有價值的頁面至少留一條可走的路径。
- 补内鏈：在相關文章里自然引用，比在頁脚堆連結有效得多；
- 建归档頁：按時間、标簽、分類生成索引列表，让老内容有固定入口；
- 相關推荐：用同标簽或同主题的模块把新舊頁面互相串起来；
- Sitemap 保底：内鏈暂时补不上的頁面，先确保在地图里有位置；
- RSS 补充：更新型内容可以靠 feed 加快被察觉的速度。
如果站点借助蜘蛛池或外鏈批量引入訪問，這些訪問最终還是要落到具体 URL 上。站内没有路径接住，流量来了也只是路過，抓取收益有限。
別為了被發現而滥造入口
补内鏈不等于到處塞連結。頁脚全站連結、隐藏层連結、正文硬插關鍵詞锚文本，短期看似提高了曝光，實际會让蜘蛛把抓取预算消耗在低價值 URL 上。更稳的做法是：只在真正相關的位置放連結，让每條入口都有明确的上下文。
用日誌驗證效果
判断孤岛是否被解决，看日誌比看感觉靠谱。關注三個方面：
- 目标 URL 在日誌里多久出現一次，是否從無到有、從稀疏變得規律；
- 蜘蛛進入頁面的来源路径，是被列表頁带進来的，還是只靠 Sitemap；
- 更新内容後，回訪間隔是否缩短。
URL 被發現只是起点，能不能被稳定回訪，取决于頁面在站内结构中的位置是否清楚。孤岛頁面要么接回内鏈，要么靠 Sitemap 兜底，两者都没有时，就別指望它被及时發現。