有些页面内容不差，也没有被 robots.txt 挡住，但发布很久仍然没有出现在索引里。遇到这种情况，很多人会先怀疑内容质量，其实更常见的原因是页面从一开始就没有被蜘蛛发现。孤岛页面指的就是没有可爬入口、只能靠外部链接或主动提交才能被发现的 URL。
先分清“没被发现”“被抓了没收录”和“收录了没展现”
讨论孤岛页面之前，要把三个阶段分开看。第一是 URL 发现，蜘蛛是否知道这个地址存在；第二是抓取，蜘蛛是否真的来访问过；第三是索引，抓取之后是否被编入索引并可以展现。孤岛页面卡在最前面一步，后面两步自然无从谈起。
判断方法并不复杂：在抓取日志或站点日志里搜索目标 URL。如果完全没有访问记录，优先怀疑发现环节；如果有访问记录但索引报告显示未收录，问题就转移到抓取或索引判断上。
三个暴露入口要逐项检查
内链是否可爬且路径合理
内链是最主要的发现渠道。检查时不要只看页面上有没有链接，还要看链接是否真的以可爬形式输出。常见问题包括：链接由 JavaScript 在点击后才生成、链接指向了需要登录的页面、链接被包裹在无法解析的交互组件里。更稳妥的做法是，在页面 HTML 源码中能直接看到目标 URL 的 a 标签。
另外，内链层级过深也会影响发现效率。如果一个页面要经过五六个层级才能到达，蜘蛛分配给它抓取和评估的优先级通常会低一些。
站点地图是否准确收录了目标 URL
站点地图是辅助发现工具，但不能替代内链。它适合用来补充那些内链较少或层级较深的页面。检查站点地图时，注意三点：目标 URL 是否在文件里；返回的地址是否与页面最终地址一致；站点地图本身是否被 robots.txt 或页面规则正确放行。如果站点地图里写的是带参数或重定向的旧地址，蜘蛛按图索骥也可能找不到真正页面。
导航与聚合页是否给了入口
导航栏、分类页、标签页和专题聚合页都是重要入口。一个新页面如果只出现在站点地图里，而没有出现在任何导航或聚合路径中，它的发现稳定性就会差很多。这里不必强求每个页面都放上导航，但至少要保证它属于某个可爬的聚合页或列表页。
常见“伪入口”要单独标出来
- 链接加了 nofollow，蜘蛛可能不沿着它继续发现。
- 入口页本身被 noindex 或 robots.txt 屏蔽，链路在中间断开。
- 链接指向的地址经过多次跳转，最终 URL 与入口不一致。
- 入口位于需要登录或交互后才出现的内容区域。
- 分页或筛选参数把入口推到了蜘蛛很少访问的深层。
这些情况看起来有入口，实际可爬性很差。排查时以页面源码和抓取日志为准，不要只看浏览器里能不能点到。
被发现之后，还有抓取与质量两道关
页面被内链或站点地图暴露，不等于一定会被收录。蜘蛛还要判断是否值得抓取、抓取后是否值得编入索引。抓取预算有限时，低价值页面可能长期排在队列后面；抓取之后，如果内容与已有页面高度重复、信息量太薄，也可能被归并或排除。
所以处理孤岛页面时，先打通发现环节，再观察抓取和索引是否跟进。不要一上来就大改内容，否则很难判断是入口问题还是质量问题。
把发现、抓取、索引分成三步看，排查会清楚很多。孤岛页面通常先输在第一步，而不是内容本身。
一个可操作的检查顺序
- 在日志中确认目标 URL 是否被蜘蛛访问过。
- 查看页面源码，确认内链是否以可爬 a 标签存在。
- 检查站点地图是否包含目标 URL，且地址与最终 URL 一致。
- 确认入口页和站点地图没有被 robots、noindex 或登录墙挡住。
- 观察一段时间内的抓取频率与索引状态，再决定是否调整内容或合并页面。
孤岛页面往往不是一下子形成的，而是新页面上线、旧入口改版、聚合页调整之后逐渐失去入口。定期用内链检查和站点地图核对，比等到收录出问题再回头找原因要省力。