网站里常有这样一类页面:地址能正常打开,内容也不算差,但从首页一路点下去,永远走不到它。它只出现在站点地图里,或者只被外部链接指过一两次。这类页面常被叫做「孤儿页面」。它们不一定马上出问题,却会让抓取路径和用户浏览路径都变得别扭。
孤儿页面是怎么形成的
大多数孤儿页面不是刻意做出来的,而是改版、合并栏目、下架专题时留下的痕迹。
- 栏目改版时,旧栏目的列表页被下线,但栏目内的文章还挂着,内链入口一起消失。
- 内容从列表页挪到了新的聚合页,旧页面只保留了地址,没有补新的入口。
- 编辑为了赶时效先发一篇稿,打算之后挂进列表,结果忘了。
- 专题页、活动页结束后,入口被撤掉,页面本身没有处理。
- 模板调整时某个模块被删除,原本依赖这个模块曝光的页面全成了孤岛。
怎么把孤儿页面找出来
手工翻站很难查全,通常用几个数据源交叉比对。
- 把站点地图里的地址导出,和抓取工具跑出的内链图对比。站点地图里有、内链图里没有任何入链的地址,是重点怀疑对象。
- 翻抓取日志。看某个页面的抓取记录,如果来源基本都是站点地图或外部链接,说明站内没把它带出来。
- 抽查栏目模板。把「该栏目实际有多少条内容」和「列表页能点到的条数」对一下,差值往往就是找不到入口的页面。
- 定期跑一次全站爬取,把入链数为 0 的地址单独存成清单,比每次靠记忆排查省事。
找到之后怎么处理
孤儿页面不等于废页面,先判断它的价值,再决定动作。
- 有搜索需求、内容仍然成立:补内链。找内容相关的页面加一到两个正文链接,或者把它挂回对应的列表页、相关阅读模块。
- 与别的页面高度重复:合并到主页面,旧地址做 301 指向主页面。
- 时效已过、没有保留价值:直接下架,返回 404 或 410 都可以,关键是别让它继续挂在站点地图里。
- 有外部链接和访问量:不要轻易删除,至少保留地址并补上站内入口,或者重定向到内容最接近的页面。
防复发:上线时就确认入口
孤儿页面多半是发布流程漏了一步。可以在发布环节加几条固定动作:
- 新页面发布前,确认至少存在一条可从首页到达的路径,并且路径上每一层都能正常点击。
- 下线栏目或模块时,顺手检查依赖它的页面,别只删入口、不处理内容。
- 站点地图由程序生成时,让它只收录有内链入口的地址,或者定期和实际入链数据做一次比对。
- 把「入链数为 0」纳入月度巡检项,跟 404、5xx 一起看。
孤儿页面本身不会立刻带来明显后果,但它会让抓取预算花在绕路上,也让用户难以从相关内容继续浏览。发现一个补一个,比等它变成长期没有入口的存量内容更省事。