站点的内容再多,如果没有任何一条链接指向它,它实际上就待在一个封闭的小房间里。运营一段时间后,几乎每个站点都会攒出一些这样的页面:被抓取过一两次,之后再没人访问,导航里没有入口,相关文章里也没提到过它。这类页面通常被称为孤岛页面。
孤岛页面是怎么形成的
它们很少是故意做出来的,多数是运营过程中的副产品。
- 栏目改版时,老栏目被撤掉,页面本身还在,但入口链接消失了。
- 活动页、专题页上线时从首页挂过一阵,下线后链接被删除,页面文件没删。
- 后台批量生成了标签页或作者页,但从未在正文里链接过去。
- 旧结构迁移后,新导航没有覆盖到层级较深的页面。
- 分页、筛选、参数页产生的中间页,被临时挂过一次入口后遗忘。
它们共同的特点是:页面能打开,返回 200,也不违反任何规则,只是缺少一条从站点主流路径走过去的链接。
为什么值得花时间清理
第一,蜘蛛发现内容的路径主要靠链接。一个页面长期没有内链指向,被抓取的频率往往偏低,后续更新也不容易被感知。第二,这些页面常常是陈旧内容,可能是过期的价格、下线的活动、被替换的旧版本,访客从外部搜索进来看到它们,体验并不好。第三,孤岛页面多了以后,你很难说清站点到底有多少有效内容,做栏目规划时容易重复投入。
判断标准很简单:从首页出发,只靠站内链接,能不能走到这个页面。走不到,基本就可以归入孤岛。
怎么把它们找出来
- 导出站点地图中列出的 URL,作为已知页面清单。
- 用站内爬取工具或抓取脚本跑一遍站点,记录每个页面的入链数量。
- 把清单和入链数据对照,入链为 0,或者只来自 sitemap、XML 文件这类非页面来源的,先标出来。
- 对照服务器日志,看这些页面最近三个月有没有真实抓取和访问。两者都接近零的,优先级最高。
- 人工过一遍,排除登录页、支付回调页、接口地址这类本来就不该有内链的页面。
处理方式分三类
不是所有孤岛页面都要删掉,按内容状态分情况处理。
- 内容仍有价值:补内链。在相关文章正文里自然地提一句并链接过去,或者把它挂回合适的栏目列表、相关推荐位。锚文本要和目标页面主题一致,别堆成“点击这里”。
- 内容已过期或重复:合并到新页面,再用 301 指向新地址,而不是直接从导航里摘掉链接、留下一批还能访问的旧页面。
- 确实没有保留必要:下线并返回 404 或 410,同时确认没有外部链接和搜索流量依赖它。
日常怎么减少新的孤岛
新内容上线时,顺手确认三件事:它属于哪个栏目,列表页里能不能看到它,有没有至少一篇相关文章可以自然链接过来。活动页和专题页下线时,把入口链接、站内推荐位一起清掉,同时决定这个页面是留、是转还是删,不要让它悬在半空。
对于标签页、作者页、归档页这类自动生成的页面,建议控制生成规则,设定最低内容数量门槛,比如少于若干篇内容就不生成独立页面,或者直接加上 noindex。
最后,把入链检查放进季度巡检里。站点结构是会长大的,今天有入口的页面,可能因为一次导航调整就变成孤岛。定期跑一遍清单,比等到流量下滑再回头排查要省事得多。