什么是孤岛页面
孤岛页面指的是站内没有任何链接指向它的页面。它存在于数据库里,可能也在 sitemap 里,但用户从首页出发点不到它,蜘蛛也只能靠 sitemap 或者某个外部链接偶然撞见。这类页面打开是正常的,不报错、不返回异常状态码,所以最容易被忽略。
孤岛页面是怎么产生的
- 先发文章、后做栏目,文章发完一直没被挂进任何列表。
- 栏目改版、合并或下线,入口撤掉了,旧文章还留在线上。
- 只做了标签页或专题聚合页,但聚合页自己也没有入口。
- 分页列表只保留第一页的链接,后面的页只能靠“下一页”按钮一页页点。
- 文章只在站内搜索结果里能查到,而搜索页本身不允许抓取。
- 活动页、专题页上线时挂在首页,活动结束后入口被撤掉。
为什么值得花时间处理
蜘蛛发现新 URL 主要靠链接。孤岛页面等于把发现权交给了 sitemap 和运气。带来的后果通常有几个:收录慢、内容更新后蜘蛛不知道、外部链接的权重无法通过站内路径传递下去、日志里长期看不到抓取记录。
它不会报错,所以更需要主动查
404 和 5xx 会提醒你出问题了,孤岛页面不会。页面能打开,站长平台里可能显示“已发现,尚未编入索引”,然后就一直没有下文。想发现问题,只能主动比对链接关系。
怎么把孤岛页面找出来
- 用爬取工具抓一遍全站,导出所有链接指向的目标 URL,去重后得到集合 A。
- 从 sitemap 或 CMS 内容库导出全部可访问页面,得到集合 B。
- B 减去 A 的差集,就是站内没有入口的页面,先从这里面挑优先处理的。
- 对照服务器日志,把长期没有蜘蛛访问记录、站内引荐流量也为零的页面挑出来。
- 看站长平台里的“已发现但未编入索引”“已抓取未编入索引”列表,作为交叉验证。
爬取工具看到的是链接图,日志看到的是实际抓取。两者对照,孤岛页面基本无处可藏。
修复思路:给每个内容一条稳定入口
- 父栏目入口:每篇文章至少能从一个栏目列表、专题页或归档页点进去,面包屑和栏目路径保持一致。
- 相关阅读与上下篇:同主题内容互相链接,比堆全站热榜更有效,也更容易长期维护。
- 分页路径要完整:列表翻到最后一页都有可达链接,别让旧内容只能靠一页页点“下一页”才能到达。
- 聚合页要有门槛:标签页、专题页内容不够就先别自动生成,避免用一批空壳页面去“消灭”孤岛。
- 别把站内搜索结果当入口:搜索页通常不宜抓取,新文章不能只在那里出现。
- sitemap 是兜底,不是替代:它帮助发现 URL,但既传递不了内链关系,也说明不了内容之间的关联。
把它变成上线流程的一部分
内容发布时顺手确认三件事:这条内容挂在哪个栏目、和哪几篇同主题内容互链、列表页里有没有它。改版或下线栏目时,先查一遍该栏目下所有页面的去向,能合并的做 301,不能合并的补新入口或明确下线。每隔一段时间跑一次全站爬取,把差集当成待办清单,而不是一次性的集中清理。
最后提醒一句:不要为了清零孤岛页面,往不相关的地方硬塞链接。入口要和内容主题相关,否则只是把孤岛变成了噪声。