很多站点排查抓取問题时，注意力都放在蜘蛛来了几次、抓了多少頁面，却忽略了一件更靠前的事：這些 URL 是怎么被蜘蛛知道的。如果一個頁面没有任何内鏈指向它，它對外就像一座孤岛，蜘蛛沿着連結爬行的路径根本走不到這里。這類頁面不是抓不到，而是很可能從未進入抓取队列。
蜘蛛發現 URL 的基本方式
搜尋引擎發現新地址，主要靠几條路：顺着已有頁面的連結爬過去、讀取 sitemap、通過外部連結或站長平台提交等渠道获知。其中最常见也最稳定的是第一條。一個頁面只要能被几個正常頁面用可点击的 a 标簽鏈到，被發現基本只是時間問题。
哪些頁面容易變成孤岛
- 分頁改版後舊的分頁連結被刪除，中間几頁再無入口。
- 篩選、排序參數生成的组合 URL，只有用戶点击才會出現。
- 老文章或专题頁在導航調整时被移除連結，但頁面内容仍在。
- 活動落地頁只投放于广告或社交平台，站内没有任何指向。
- 程序批量生成、尚未挂到任何列表頁的詳情頁。
补上抓取路径的几種做法
先把内鏈补齐
能补内鏈就不要只依赖提交。找到相關性最高的栏目頁、聚合頁或舊文，在正文里加上自然指向该頁面的連結，锚文本尽量描述清楚，而不是寫“点击這里”。一個孤岛頁面只要有两三條来自不同层級頁面的内鏈，抓取路径就建立起来了。注意別為了补鏈而堆砌，連結要放在用戶真的會点的地方。
用 sitemap 兜底
sitemap 的作用是补充連結，不是替代内鏈。對确實不适合出現在導航或列表里的頁面，可以把地址放進 sitemap，让蜘蛛至少知道它存在。文件要保持可訪問，里面的 URL 與线上地址完全一致，不要带多余的參數或跳轉。
检查是否被規則挡住
有时候頁面有内鏈，但 robots.txt 規則誤伤了路径，或者頁面本身带了 noindex、需要登入才能訪問，蜘蛛到了门口也進不去。排查孤岛頁面时顺手確認這几項，能省下很多反复。
從抓取日誌反推
服務器日誌里能看到蜘蛛實际訪問了哪些地址、带着什么 referer。如果某個頁面的来路長期為空或来自站外，說明站内没有给它通路。把日誌按路径聚合，孤岛頁面往往一眼就能看出来。
孤岛頁面不等于低质量頁面，但它在抓取环节天然吃亏。补一條内鏈的成本，通常遠低于反复提交與等待重抓。
處理顺序上的建议
- 先確認頁面本身是否值得被抓：内容完整、返回 200、能正常渲染。
- 再补内鏈，優先從相關性高的頁面指向它。
- 内鏈确實补不上时，用 sitemap 保證地址可被讀取。
- 观察一段時間日誌，看是否出現稳定来路，再决定是否調整站点结构。
URL 發現是抓取的前置环节，内鏈是其中相對可控的一條路径。定期检查孤岛頁面，本质上是在维護蜘蛛走進站点的路網，而不是等着它自己找上门。