站点里總有一些頁面，上线之後几乎没有抓取记錄：訪問量低、内鏈少，甚至连全站導航都够不到它。這類 URL 常被称為孤岛頁面，它們未必是内容有問题，而是缺少一條能被蜘蛛持續走到的入口。
孤岛頁面通常出現在哪些位置
常见场景包括：活動頁下线後保留的舊地址、只在站内搜尋或篩選结果里出現的列表頁、只在登入後或 App 内可见的内容頁、僅靠 sitemap 提交而没有任何内鏈指向的頁面，以及模板改版时被顺手删掉連結的老文章。
蜘蛛能通過哪些路径發現 URL
- 内鏈：最稳定、可反复走到的路径，也是判断一個頁面是否還“活着”的主要依據。
- Sitemap：可以补充發現，但通常只算辅助入口，回訪频次不稳定。
- 外部連結：有效但不可控，被訪問過一次之後，後續靠它再次回訪的概率並不高。
- 站内搜尋、篩選與分頁參數：容易产出大量低價值 URL，也容易把真正的孤岛頁面淹掉。
先確認它是不是真的没有内鏈入口
- 在日誌中筛出该 URL 的抓取记錄，看首次抓取的時間、频次，以及是否有来源頁信息。
- 用爬虫工具從首頁出發抓一遍，或導出全站内鏈图，查看该 URL 的入鏈數量和来源頁面。
- 检查連結是否只存在于 JavaScript 渲染後的 DOM 中，而首屏 HTML 里没有可点击的 a 标簽。
- 確認連結是否被 nofollow、robots 元标簽或框架层拦截，導致這條路径實际走不通。
补鏈的優先顺序
补鏈不是越多越好，優先選擇蜘蛛會频繁回訪的位置。
- 第一優先：分類頁、栏目頁、導航或面包屑，让路径尽量短且稳定。
- 第二優先：正文中與主题相關的自然引用，一條上下文相關的連結，通常比十條頁脚連結更有參考意义。
- 第三優先：聚合頁、标簽頁或专题頁，同时注意不要因此产生大量重复入口。
- 兜底：在 sitemap 中保留该 URL，但要清楚它只能算补充，不能替代内鏈。
补鏈後的核對方式
补鏈之後不要只看“是否被抓過”，更值得看的是抓取节奏：一周内是否出現首次抓取，之後是否還有回訪。如果只有一次抓取、之後長期没有再次訪問，說明入口位置過深或路径不稳定，可以考虑把連結前移到更高频的頁面。
一個可操作的判断标准：把该 URL 的入鏈来源列出来，如果這些来源頁本身也很少被抓，那這條路径的實际價值就有限。
几個常见誤区
- 只提交 sitemap 就認為頁面會被稳定抓取，實际回訪频率往往偏低。
- 在頁脚或隐藏容器里堆砌連結，蜘蛛可能走到，但這類連結對頁面價值的传递有限。
- 把孤岛頁面当成“蜘蛛不收錄”的問题，忽略了自己没有给它留出路径。
- 补鏈时不清理舊入口，反而产生多條指向同一内容的路径，造成 URL 變体分散。
孤岛頁面本质上是一個路径問题，不是提交問题。把入口补齐、让来源頁保持在可抓取的层級上，再用日誌观察回訪节奏，通常比反复提交 URL 更有參考價值。