站点里总有一些页面，上线之后几乎没有抓取记录：访问量低、内链少，甚至连全站导航都够不到它。这类 URL 常被称为孤岛页面，它们未必是内容有问题，而是缺少一条能被蜘蛛持续走到的入口。
孤岛页面通常出现在哪些位置
常见场景包括：活动页下线后保留的旧地址、只在站内搜索或筛选结果里出现的列表页、只在登录后或 App 内可见的内容页、仅靠 sitemap 提交而没有任何内链指向的页面，以及模板改版时被顺手删掉链接的老文章。
蜘蛛能通过哪些路径发现 URL
- 内链：最稳定、可反复走到的路径，也是判断一个页面是否还“活着”的主要依据。
- Sitemap：可以补充发现，但通常只算辅助入口，回访频次不稳定。
- 外部链接：有效但不可控，被访问过一次之后，后续靠它再次回访的概率并不高。
- 站内搜索、筛选与分页参数：容易产出大量低价值 URL，也容易把真正的孤岛页面淹掉。
先确认它是不是真的没有内链入口
- 在日志中筛出该 URL 的抓取记录，看首次抓取的时间、频次，以及是否有来源页信息。
- 用爬虫工具从首页出发抓一遍，或导出全站内链图，查看该 URL 的入链数量和来源页面。
- 检查链接是否只存在于 JavaScript 渲染后的 DOM 中，而首屏 HTML 里没有可点击的 a 标签。
- 确认链接是否被 nofollow、robots 元标签或框架层拦截，导致这条路径实际走不通。
补链的优先顺序
补链不是越多越好，优先选择蜘蛛会频繁回访的位置。
- 第一优先：分类页、栏目页、导航或面包屑，让路径尽量短且稳定。
- 第二优先：正文中与主题相关的自然引用，一条上下文相关的链接，通常比十条页脚链接更有参考意义。
- 第三优先：聚合页、标签页或专题页，同时注意不要因此产生大量重复入口。
- 兜底：在 sitemap 中保留该 URL，但要清楚它只能算补充，不能替代内链。
补链后的核对方式
补链之后不要只看“是否被抓过”，更值得看的是抓取节奏：一周内是否出现首次抓取，之后是否还有回访。如果只有一次抓取、之后长期没有再次访问，说明入口位置过深或路径不稳定，可以考虑把链接前移到更高频的页面。
一个可操作的判断标准：把该 URL 的入链来源列出来，如果这些来源页本身也很少被抓，那这条路径的实际价值就有限。
几个常见误区
- 只提交 sitemap 就认为页面会被稳定抓取，实际回访频率往往偏低。
- 在页脚或隐藏容器里堆砌链接，蜘蛛可能走到，但这类链接对页面价值的传递有限。
- 把孤岛页面当成“蜘蛛不收录”的问题，忽略了自己没有给它留出路径。
- 补链时不清理旧入口，反而产生多条指向同一内容的路径，造成 URL 变体分散。
孤岛页面本质上是一个路径问题，不是提交问题。把入口补齐、让来源页保持在可抓取的层级上，再用日志观察回访节奏，通常比反复提交 URL 更有参考价值。