孤岛頁面，指站内没有任何連結指向的 URL。它可以正常打開、返回 200，但蜘蛛沿着連結爬行时永遠走不到它。這類頁面在改版遗留、活動頁下线、CMS 批量生成的參數頁里很常见。要處理它，先要知道蜘蛛平时是從哪些入口拿到新 URL 的。
蜘蛛發現 URL 的几條常见路径
- 站内連結：首頁、栏目頁、詳情頁里的 a 标簽，是最主要也最稳定的發現渠道。
- Sitemap：适合成批提交，但它更像一份候選清單，清單里的 URL 未必都會被立刻訪問。
- 外部連結：別的站点指向你的連結，是蜘蛛找到新站、新栏目常走的一條路。
- 主動提交：各搜尋平台的提交入口或 API，适合新頁面和时效性内容。
- 日誌回流：服務器日誌能看出蜘蛛實际訪問了哪些路径，反過来帮你判断哪些 URL 從没被發現過。
孤岛頁面通常是怎么形成的
- 改版时栏目结构換了，舊路径還留在服務器上，新導航已经不再指向它。
- 列表頁只展示“最新的 N 條”，歷史内容被挤出列表，又没有归档頁接手。
- 頁面由模板批量生成，彼此之間没有交叉連結，只靠一個總入口。
- 篩選、排序、會话參數组合出的 URL，只在特定操作下才出現。
- 頁面需要登入或依赖 JavaScript 交互才能触達，蜘蛛拿不到那條連結。
Sitemap 能救孤岛頁吗
Sitemap 是补充，不是替代。它可以告诉蜘蛛“這些 URL 存在”，但抓不抓、什么时候抓，仍取决于服務器狀態、頁面本身的價值和站点整体的抓取节奏。如果一個 URL 長期没有任何内鏈、外鏈，内容又和站内其他頁面高度重复，即便寫進 Sitemap，也容易排在抓取队列的後面。更稳妥的做法是：Sitemap 保持干净准确，同时给重要頁面补上真實的内鏈入口。
把孤岛頁找出来的自检方法
- 導出服務器日誌中蜘蛛訪問過的 URL 列表。
- 用站内爬虫工具抓一遍全站，導出所有能通過連結到達的 URL。
- 把站点實际的 URL 清單（從資料库、CMS 或 Sitemap 導出）與上面两份列表做差集。
- 差集里那些既没有内鏈、日誌中也從未出現過的，就是需要優先確認的孤岛頁。
给孤岛頁补入口的几種做法
- 在相關文章、相關产品、标簽頁里加入指向它的連結，連結要有實际语境。
- 建立归档頁或索引頁，把被列表頁挤出去的歷史内容重新收進来。
- 做一個 HTML 版本的站点地图頁，放在頁脚這類容易到達的位置。
- 用面包屑把頁面挂回栏目层級，让蜘蛛知道它属于哪里。
- 新頁面出現後，通過提交入口推送一次，缩短等待時間。
哪些頁面不值得补鏈
並不是所有孤岛頁都要救。過期活動頁、内容已被合並的重复頁、纯參數组合出来的空结果頁，更合适的處理是 404、410 或做 301 指向新頁面，而不是硬塞進導航。判断标准可以简單一点：這個頁面如果有真實用戶通過搜尋進来，内容是否還站得住？站不住就清理，站得住再考虑入口。
补上入口只是第一步。补完之後仍要用日誌观察一段時間，確認蜘蛛确實顺着新入口走到了這些 URL，而不是只看提交结果就当作已经完成。