蜘蛛在站内主要的行走方式是顺着链接走。一个 URL 如果在站内没有任何可点击的链接指向它，就很难被「顺路」经过，这类页面通常被叫作孤儿页面。它不一定打不开，也不一定是错页，只是缺少一条能把蜘蛛带过去的路径。
在蜘蛛眼里，孤儿页面意味着什么
常规的 URL 发现路径是：入口页到列表页，再到详情页、相关推荐，一层一层往下走。孤儿页面切断了这条链条，蜘蛛只能靠几种间接渠道知道它存在：Sitemap 里的声明、站外链接、搜索后台的手动提交，或者从日志里看到它曾被访问过。
问题在于，这些渠道提供的是「这个 URL 存在」的信息，而不是「这个 URL 值得抓」的判断依据。缺了站内链接，蜘蛛很难评估它在站点结构中的位置和重要性，重新抓取的频率通常也会低很多。
孤儿页面常见的几种来源
- 栏目改版或列表分页调整后，旧页面只留在了 Sitemap 里；
- 后台生成的活动页、专题页、商品详情页没有挂到任何列表；
- 分页列表只放出前几页的链接，后面几页只能靠翻页参数访问；
- 筛选、排序参数拼出的 URL 被外链或分享链接带出去；
- 测试页、临时页、备用域名下的页面被收录后又失去入口。
这些页面往往不是刻意藏起来的，而是结构变动时被顺手漏掉的。定期做一次站内爬取，把爬到的 URL 和日志、Sitemap 里的 URL 做对比，通常能发现一批这样的缺口。
Sitemap 能兜底，但不等同于内链
Sitemap 的作用是告诉蜘蛛「这里有哪些 URL」，它不能替代站内链接。一个只出现在 Sitemap 里、站内没有任何入口的页面，蜘蛛可能会抓一次，但抓完之后缺少继续访问的路径，下次再来的时间就很难保证。把 Sitemap 当成孤儿页面的长期解决方案，效果通常有限。
更现实的做法是给重要页面补上站内入口。Sitemap 负责覆盖面，内链负责优先级和抓取节奏，两者分工不同。
把孤儿页面接回抓取路径
- 先确认清单。用站内爬取工具抓一遍全站，得到「站内有链接可达」的 URL 集合；再和 Sitemap、服务器日志里的 URL 集合对比，差集就是需要关注的孤儿页面。
- 判断值不值得接回来。有稳定搜索需求、有转化价值的页面优先处理；纯参数组合、重复内容、测试页可以考虑清理或加 noindex，而不是硬塞内链。
- 补上自然的入口。相关文章、同栏目推荐、面包屑、聚合页、列表页的「更多」入口，都是常见位置。锚文本写清楚页面的主题，不要用「点击这里」。
- 控制层级。从首页出发，尽量让重要页面在三到四次点击内可达。层级太深，即使有链接，蜘蛛走到的概率也会下降。
- 观察抓取变化。补完内链后，在日志里看这些 URL 的首次抓取时间和后续抓取频率，同时在搜索后台留意「已发现但未编入索引」的数量变化。
补入口之后，留意服务器这一端
新增内链会带来新的抓取请求。如果一次补了几千个入口，抓取量可能在短期内明显上升。这时候要留意服务器的响应时间和错误率，避免因为 5xx 或超时把抓取节奏打乱——蜘蛛遇到持续错误会降低抓取频率，前面补的入口效果也会被抵消。分批次调整、观察几天再继续，通常比一次性铺开更稳妥。
几个容易踩的坑
- 把所有孤儿页都堆到首页或全站页脚，链接数量暴涨但实际价值分散；
- 只提交 Sitemap，不加内链，然后期待抓取频率自然提升；
- 孤儿页内容本身和已有页面高度重复，接回路径后反而产生新的重复问题；
- 用脚本批量生成内链，锚文本和上下文与页面无关，蜘蛛读不出链接指向什么。
孤儿页面的核心问题不是「蜘蛛找不到」，而是「找到了也没有路径继续走」。补一条合理的内链，往往比反复提交 Sitemap 更有效。
总的来说，把孤儿页面接回抓取路径，靠的是结构上的入口，而不是一次性的提交动作。先把清单整理清楚，再按价值排序补链接、控层级，剩下的交给日志和搜索后台去验证。