站内总有一些页面处于孤立状态：它能被直接访问，却没有任何内链指向。对用户来说不一定有影响，对蜘蛛来说，这类 URL 进入抓取队列的机会明显更小。这篇内容聊三件事：蜘蛛发现 URL 的入口到底有哪些，孤岛页面卡在哪一步，以及可以怎么补救。
蜘蛛发现 URL 的入口不止一个
很多人默认 Sitemap 就是 URL 的唯一来源，实际上蜘蛛获取新地址的渠道是并行存在的：
- 站外链接：通常是一个域名最早被发现的途径，决定了蜘蛛第一次来不来；
- Sitemap：批量提交、覆盖面广，但它更像一份待办清单，不保证顺序和时效；
- 站内链接：导航、列表页、相关推荐、面包屑，是持续发现新页面的主要来源；
- RSS / Atom：更新频繁的内容站，feed 往往比 Sitemap 更快反映出新文章；
- 站内搜索页：如果搜索页对蜘蛛开放，它也可能顺着带参数的链接爬到内容页；
- 历史抓取：蜘蛛已收录的 URL 集合会持续被复用，旧页面上的新链接也会被跟进。
这些入口的分工不同。外链负责把蜘蛛引来，内链决定它来了之后能走多深、多快，Sitemap 负责兜底。
孤岛页面卡在哪一步
孤岛 URL 的问题不是绝对抓不到，而是没有接入任何一条常规路径：
- 没有内链，蜘蛛只能靠 Sitemap 或偶然的外链知道它存在；
- 即便知道了，也缺少链接上下文，很难判断它属于哪个栏目、和哪些页面相关；
- 长期没有入口的页面，抓取优先级通常排在热门栏目之后，更新后回访也更慢。
结果就是这类页面在日志里出现频率极低，有时几周都不见一次。
把孤岛接回站内结构的几种做法
思路很简单：给每个有价值的页面至少留一条可走的路径。
- 补内链：在相关文章里自然引用，比在页脚堆链接有效得多；
- 建归档页：按时间、标签、分类生成索引列表，让老内容有固定入口；
- 相关推荐：用同标签或同主题的模块把新旧页面互相串起来；
- Sitemap 保底：内链暂时补不上的页面，先确保在地图里有位置；
- RSS 补充：更新型内容可以靠 feed 加快被察觉的速度。
如果站点借助蜘蛛池或外链批量引入访问，这些访问最终还是要落到具体 URL 上。站内没有路径接住，流量来了也只是路过，抓取收益有限。
别为了被发现而滥造入口
补内链不等于到处塞链接。页脚全站链接、隐藏层链接、正文硬插关键词锚文本，短期看似提高了曝光，实际会让蜘蛛把抓取预算消耗在低价值 URL 上。更稳的做法是：只在真正相关的位置放链接，让每条入口都有明确的上下文。
用日志验证效果
判断孤岛是否被解决，看日志比看感觉靠谱。关注三个方面：
- 目标 URL 在日志里多久出现一次，是否从无到有、从稀疏变得规律；
- 蜘蛛进入页面的来源路径，是被列表页带进来的，还是只靠 Sitemap；
- 更新内容后，回访间隔是否缩短。
URL 被发现只是起点，能不能被稳定回访，取决于页面在站内结构中的位置是否清楚。孤岛页面要么接回内链，要么靠 Sitemap 兜底，两者都没有时，就别指望它被及时发现。