有些页面内容不算差，却长期没有自然流量，翻日志会发现蜘蛛几乎没来过。原因往往不是被规则拦住，也不是服务器不稳定，而是这个页面在站内没有任何入口，只能靠 sitemap 或外链被偶然发现。这类页面通常被称为孤儿页面。它不会立刻引发故障，但会慢慢脱离站点的内容网络：用户在站内点不到，蜘蛛也很难判断它的价值。
哪些页面最容易变成孤儿
- 新建后只提交了 sitemap，却忘记挂进栏目列表或相关内容模块；
- 栏目调整时列表被删除，稿件本身还留在原目录下；
- 专题页、活动页只在首页横幅上线期间被链接，横幅撤下后入口归零；
- 分页翻到很后面的列表页，只被上一页的“下一页”指向，爬到中途链条就断了；
- 标签页、聚合页只由站内搜索或筛选结果带出，没有固定入口；
- 改版删掉旧导航，却没有为旧路径补上新的入口或跳转。
自查可以按三个方向做
1. 从抓取日志里找“只有自己”的页面
把日志中的 URL 按“被哪个站内页面链接”这个维度反查，也可以用爬虫工具抓一遍全站，看哪些 URL 从未作为链接出现。如果一个页面在一段时间里只有蜘蛛直接访问，站内没有其他页面指向它，基本可以判定入口缺失。
2. 用鼠标走一遍站内路径
从首页出发，只靠点击、不靠搜索，看能不能到达目标页。需要三次以上跳转，或者必须依赖站内搜索才能找到的内容，实际获取难度已经很高，蜘蛛的抓取频次通常也会越来越低。
3. 统计入口数量与入口质量
- 有多少个页面链接到它；
- 这些页面本身是否被抓取、是否处在容易被访问的位置；
- 链接用的是描述性锚文本，还是“点击这里”“更多”之类。
确认是孤儿页面之后怎么处理
- 补入口：放回对应栏目列表，或在同级内容、相关内容模块里加链接，锚文本写清楚主题；
- 合并：与已有页面高度重复时，合并到主页面并做 301；
- 下线：确认没有保留价值，返回 410，或 301 到相近内容，同时从 sitemap 中移除；
- 观察：修改后不要只看一次日志，隔两三周再看抓取频次和入口是否稳定。
sitemap 是“我有哪些页面”的提交清单，不是导航。它能让蜘蛛知道地址，但替代不了站内链接带来的上下文和信任。
把入口检查放进日常流程
- 发布流程里加一步“登记入口”，标明这条内容挂在哪个栏目、哪几个模块；
- 栏目调整前列出受影响稿件，逐条决定补入口、做跳转还是下线；
- 每季度抽查一次深层目录和专题页，看入口是否还在；
- 把入口来源记进内容台账，方便以后改版时追溯。
孤儿页面不是一天形成的，多数是几次改版、几轮栏目调整慢慢积累出来的。定期做一次入口自查，比事后追流量更省事，也能让蜘蛛每次进站都有清晰的路径可走。