站点里常有一批页面，内容不差，却长期没有抓取记录。排查一圈会发现，它们既没有被封禁，也没有被服务器拒绝，只是站内没有任何一条内链指向它们。这类页面通常被称为孤儿页面，在抓取层面属于典型的死角。
孤儿页面为什么容易停在发现之前
搜索蜘蛛的常规路径是顺着链接走：首页、栏目页、列表页、详情页，一层层展开。如果一个 URL 从不被任何页面链接，蜘蛛只能通过别的方式知道它，比如 Sitemap 声明、外部链接、历史记录，或者站内搜索、标签页这类零散入口。这些方式都不算稳定，尤其当页面内容更新时，缺少内链意味着缺少再次被访问的理由。
更麻烦的是，孤儿页面往往和正常页面放在同一个目录下，结构看起来一致，问题不容易在页面上暴露，只会在抓取日志里以“从未出现”或“很久没出现”的形式体现。
常见的孤儿页面成因
- 列表分页只展示前几页，靠后的条目没有其他入口。
- 商品或文章下架后从列表移除，但详情页地址仍然可访问。
- 活动页、专题页上线时只投放了外链，站内没有落点。
- 筛选、标签组合生成的大量地址，只被参数入口引用。
- 改版后旧模板页残留，新导航没有指向它们。
自查：三个核对动作
- 抓取日志筛查。把一段时间内的访问 URL 去重，与全站 URL 清单求差集。差集里长期不出现的地址，就是可疑对象。
- 站内链接核查。抽取若干可疑地址，用站内搜索或爬取工具查看是否有页面链接到它。若只有 Sitemap 中出现，基本可以确认是孤儿页面。
- Sitemap 与内链比对。同一批 URL 如果只出现在 Sitemap、不出现在任何内链，说明入口结构存在缺口。
修复顺序建议
不建议一次性把几百个地址硬塞进首页，那样只会稀释重点入口。更稳妥的做法是分层处理。
- 先补“应该被访问”的页面：有内容、有转化价值的，从最相关的栏目页或详情页加一条上下文内链。
- 再处理聚合入口：用标签、归档、相关推荐等模块，让同类页面互相可见，形成局部闭环。
- Sitemap 作为兜底保留，但不要当成唯一入口。它更适合声明，而不是替代内链。
- 对确实无价值的历史页，考虑合并、跳转或移除，不要留在站内空转。
- 修复后观察一段时间日志，确认这些地址是否开始出现并保持回访。
内链是抓取路径的主干，Sitemap 是补充说明。主干断了，再完整的清单也只能起到有限作用。
几点容易踩的坑
- 用隐藏链接或在页脚堆链接补入口，容易被视为刻意操作。
- 完全依赖外部链接或第三方工具引导抓取，稳定性不可控。
- 只看 Sitemap 提交量，不看实际抓取，问题会被掩盖。
- 修复后立刻期待明显变化，忽略抓取本身有周期。
小结
孤儿页面不是技术故障，而是入口设计的问题。定期做一次日志与内链的差集核对，把有价值的页面接回抓取路径，比反复提交 Sitemap 更接近问题本身。服务器稳定、状态码正常是基础，链接可达才是前提。