做站点运营时,我们常常盯着“哪些页面被抓了”,却很少反过来问一句:“有哪些页面,蜘蛛根本找不到入口?”这类没有任何站内链接指向的 URL,通常被称为孤岛页面。它们可能来自历史栏目、活动页、被下线的专题,也可能是程序自动生成却没有挂到任何列表上的详情页。
什么样的页面算孤岛
判断标准很简单:从首页出发,沿着可点击的链接一层层走,能不能走到这个 URL。走不到,基本就是孤岛。常见情况包括:
- 页面还在服务器上,但上级栏目已经改版,入口被删掉;
- 只在某一个不对外展示的后台列表里出现;
- 只通过站内搜索或参数拼接才能打开;
- 旧版专题页入口被新导航覆盖,旧链接没有做保留。
为什么会漏掉入口
多数孤岛不是故意造成的,而是改动过程中被“顺手”丢下的。换模板、合并栏目、下线活动,都会让一批链接失去来源。如果站点同时存在多种入口来源,比如导航、面包屑、相关推荐、站点地图、RSS,只要其中一处漏了,页面不会立刻消失,但被发现的机会就明显变少。时间一长,连运营自己都忘了这些页面还在。
排查孤岛页面的几个步骤
- 导出全站 URL 清单。可以从站点地图、服务器日志、CMS 内容列表三处分别导出,再合并去重。
- 抓取站内链接。从首页开始做一次站内爬取,把抓到的链接集合记录下来。
- 做差集。名单里有、爬取结果里没有的,就是候选孤岛。
- 人工复核。把 404、410 以及明确不打算保留的旧地址剔除,剩下的才是需要处理的。
- 判断价值。有内容、有搜索需求、有历史外链的,值得接回;纯粹是测试页或废弃页,清理掉更省事。
接回站内的几种做法
- 补内链:在主题相近的文章里加一条自然的相关推荐,链接文字要写清楚指向什么内容。
- 归入聚合页:把零散的同主题内容收进一个栏目页或专题页,给它一个稳定的上级入口。
- 修面包屑:详情页的面包屑要能指回真实存在的栏目,而不是跳到一个空壳目录。
- 写进站点地图:站点地图是补充入口,不能替代内链,两者最好同时具备。
- 该合并就合并:如果两三个孤岛讲的是同一件事,合并成一个页面再做跳转,比留着几个半成品更好。
把它变成例行检查
孤岛页面不是一次性问题,每次改版、每次批量下线都可能产生新的。可以按季度做一次全站链接爬取,和上次的 URL 清单对比,看新增了哪些没有入口的地址。改动频繁的站点,节奏可以更密一些。检查完之后,把处理结果简单记一下:哪些补了内链,哪些做了合并,哪些直接清理,下次再对比时就有参照。
孤岛页面本身不代表页面有问题,但缺少入口意味着它很难被正常发现。补入口的动作,本质上是在把站点的链接结构补齐。
最后提醒一点:把页面接回站内之后,别急着期待立刻有变化。链接结构只是让页面重新进入可发现的范围,能不能被收录、排到什么位置,还取决于内容质量和其他因素。运营能做的,是别让本来有价值的页面,因为没人指路而一直搁在角落里。