孤岛页面(Orphan Page)指的是站内没有任何链接指向的页面。它能正常返回 200,甚至被写进了站点地图,但从首页出发沿着链接一层层点,永远走不到。对访客来说是找不到的内容,对蜘蛛来说只能靠站点地图或外部链接偶然撞见。
常见来源
- 栏目改版:导航菜单换了结构,旧栏目页还留在线上,但没有任何入口链过去。
- 发布流程断层:新内容只提交了站点地图,没有从相关旧内容里链出来。
- 聚合页与标签页:由程序自动生成,但列表页、详情页都没有指向它们的链接。
- 地址搬迁:内容换了目录,新地址没有被站内任何位置链到,旧地址却还在。
- 活动页与专题页:下线后没有归档,入口链接被撤掉,页面继续留在服务器上。
怎么把它们找出来
最直接的办法是做一次“爬取结果”和“站点地图”的对比:用爬虫从首页出发抓一遍全站,导出实际爬到的 URL 列表;再和站点地图、后台已发布内容列表对照,只在其中一边出现的地址,就是重点怀疑对象。服务器日志可以做辅助,观察哪些地址长期没有来自站内的来源页面。
站内搜索的后台记录也值得翻一翻。用户反复搜索却点不到结果的关键词,往往说明相关内容存在,只是入口太深或者根本没有入口。
补链的几条原则
- 就近补链:从主题最相关的页面里加链接,不要为了省事在页脚、侧栏批量堆一串。
- 上下文优先:正文里的自然引用,比导航位和推荐位更容易被点,也更便于蜘蛛判断相关性。
- 路径要短:重要内容尽量控制在三次点击以内能从首页到达。
- 双向补充:新内容发布时,先从两三个相关旧页链到新页,再考虑从新页回链旧页。
确实没有价值的页面
不是所有孤岛都值得救。如果一篇内容已经过期、与现有主题无关,硬塞一条内链只会让站内结构更乱。这种情况下更合适的是合并到相近主题、设置 301 指向接替页面,或者直接下线返回 410。放着不管才是最差的选择,它会持续占用抓取资源,也可能被用户从旧链接点进来看到过时信息。
把它变成日常动作
- 每月固定做一次爬取结果与站点地图的对比,记录新增的孤岛页面。
- 在内容发布清单里加一条:为这篇新内容找出至少两个站内引用位置。
- 调整栏目或更换地址时,顺手检查旧入口是否还指向有效页面。
- 内链补完后,从已被收录的页面重新触发一次抓取,别指望蜘蛛自己发现变化。
内链不是越多越好。一条放在正文里的相关链接,价值通常高于十条堆在页脚的泛链接。