有些页面内容不差,服务器也正常,但蜘蛛很久都不来一次。原因往往不是被 robots 挡住,也不是返回了错误码,而是站内没有任何链接指向它——这类页面通常被称为孤岛页面(孤儿页)。对访客来说,它们只能靠站内搜索或外部链接进入;对蜘蛛来说,没有入口就等于不存在。
孤岛页面是怎么出现的
孤岛页面很少是有人故意做出来的,多半是站点变化过程中留下的:
- 改版或栏目调整:旧栏目撤掉后页面本身保留了,但导航、列表、面包屑里指向它的链接被一起删了。
- 批量导入内容:从旧站或后台批量导入的文章,只有 URL 和正文,没有分配到任何栏目列表。
- 只靠站内搜索的页面:筛选结果、标签聚合、专题页只有搜索入口,没有静态链接。
- 只写进了站点地图:sitemap 是辅助发现手段,不能代替页面里的入口。
- 只被外链指向:外部链接能带来访客,但站内结构里依然是空白。
怎么把孤岛页面找出来
思路是做一次“地址对账”:一边是站点里实际存在的 URL 清单,一边是站内有内链指向的 URL 清单,取差集。具体可以这样做:
- 用站点地图、后台内容列表或数据库导出一份全站 URL。
- 用抓取工具或站内爬取脚本跑一遍,记录每个 URL 的入链数量。
- 把入链数为 0 的页面单独列出来,再和服务器日志对照:这些地址最近 90 天有没有蜘蛛来过。
- 如果日志里长期没有抓取记录,基本可以确认是孤岛。
还有一个简单的旁证:在站内搜索框里搜页面的核心关键词,如果它排不进任何自然结果,必须精确输入标题才能找到,说明它缺少被链接的路径。
提示:孤岛页面不等于低质量页面。判断要不要救,先看内容是否还有访问价值,再决定挂链接还是合并、下架。
补救的常见做法
找到之后,不一定要给每个页面都硬塞链接。优先选择与内容主题真正相关的位置:
- 在相关文章正文里做自然引用,锚文本用对方页面的主题词,而不是“点击这里”。
- 把页面归入合适的栏目列表或标签聚合页,让它至少有一个稳定的上级入口。
- 在相关推荐位、上下篇、同系列文章模块中挂上链接,注意数量别失控。
- 如果页面属于某个专题,可以在专题首页做一个入口区块,而不是散落在各处。
如果内容已经过期、重复或明显没有价值,更合理的处理是合并到相近页面并做 301,或者直接下架,而不是为了凑内链把它接回结构里。
挂完链接之后要复查
补内链不是一次性的动作。加完之后,隔一段时间回到日志里看看:
- 这些 URL 是否开始出现抓取记录,抓取频次有没有变化。
- 新加的链接是否被正常抓取,页面有没有因为层级太深而依旧进不去。
- 页面是否进入索引,这类判断只看趋势,别当成精确结论。
同时也要注意别把“补内链”做成批量堆链接。短期内给大量页面加同一种推荐模块,容易让模板链接泛滥,反而稀释了真正重要的入口。
日常怎么避免再产生孤岛
把入口检查和内容发布绑在一起:新页面发布时就确认它至少有一个栏目列表入口和一个相关内容入口;栏目调整或页面下架时,顺手检查有没有页面因此失去全部入链;定期(比如每季度)跑一次入链为 0 的清单。这样比等到流量下滑再回头翻日志要省事得多。