什么是孤儿页面
孤儿页面指的是站内没有任何链接指向的页面。它可能有正常的 URL、正常的内容,也提交进了站点地图,但用户和蜘蛛都只能靠直接输入地址、外链或者站点地图才能到达。对站点运营来说,这类页面最大的问题是:抓取优先级低、内容更新难以被发现、页面之间的关系断了,时间一长就成了“活着但没人管”的角落。
孤儿页面通常是怎么产生的
- 改版与栏目调整:老栏目下线,页面被保留下来,但原来的入口链接被删掉了。
- 内容迁移:新站上线时只迁了内容,没有同步重建页面之间的内链关系。
- 程序生成页:标签、作者、专题、分页等由模板批量生成的页面,如果对应的索引页被 noindex 或列表被折叠,就容易断链。
- 草稿与测试页:测试内容发布到线上后忘记加入口,也没有做下线处理。
- 推荐位轮换:首页或频道推荐位换掉之后,老内容再也没有新的入口。
怎么找出孤儿页面
最直接的办法,是用一份“站点地图里的 URL 清单”和一份“实际被链接到的 URL 清单”做差集。具体可以这样操作:
- 导出站点地图中的全部 URL,作为待检查清单。
- 用爬虫工具从首页出发全站爬一遍,记录所有通过 a 标签到达的页面。这一步只算可点击的普通链接,JS 按钮跳转的和接口渲染出来的不算。
- 两个清单比对,只存在于站点地图、爬虫没有到达的 URL,就是重点排查对象。
- 再用服务器日志验证一遍:如果某个 URL 长期抓取频次很低,并且几乎没有来自站内的 referer,基本可以确认是孤儿页面。
要注意:站点地图里存在,不等于被索引。它只是把 URL 递给蜘蛛,解决不了页面之间没有关系的问题。
处理方式要分情况
值得保留的页面
内容本身有搜索需求、有转化价值,就把它接回结构里。常见做法是:从内容相关的文章里加一条上下文内链;放进对应的栏目索引页或专题页;在上级页面加“相关内容”模块;如果是系列内容,补上上一篇、下一篇。入口不需要多,一两个位置合理、真实可点的链接就够。
不值得保留的页面
内容重复、时效已过、没有搜索需求的页面,与其硬塞链接,不如合并或者下线。合并时做 301 指向最接近的替代页;确实不要的内容返回 404 或 410,并确认站点地图里也同步移除,避免继续被反复抓取。
把入口检查放进发布流程
孤儿页面大多不是技术故障,而是流程缺失。可以在内容上线前加一条简单检查:这个页面从首页出发,三步之内能不能点到?如果点不到,应该由谁来给它一个入口?把这一步固定下来,比事后定期全站排查省事得多。另外,每次改版、合并栏目、批量调整推荐位之后,都值得重新跑一次清单比对。
别用页脚堆链接来兜底
有人为了“保证所有页面都有入口”,在全站页脚塞进几百个链接。这种做法对用户没有价值,蜘蛛也不会因此给站点更高的抓取评价,反而容易稀释真正重要页面的链接权重。入口应该出现在用户真的可能点击的地方:相关阅读、栏目列表、专题聚合、面包屑里的上级页面。
孤儿页面排查并不一定需要多复杂的工具,难的是持续做。把“URL 有内容、有入口、有归属栏目”当成内容上线的最低标准,这类问题会少很多。