一个 URL 能不能被抓，第一步不是它长什么样，而是蜘蛛有没有机会知道它存在。绝大多数被抓的页面，都是蜘蛛顺着其他页面上的链接走过去的。如果某个 URL 在站内没有任何链接指向它，它就成了孤儿页面——除非有外部链接或者被写进 Sitemap，否则它在抓取队列里基本没有出场机会。
孤儿页面通常是怎么产生的
- 内容从列表页撤下，详情页却还留在线上，入口被删、页面还在。
- CMS 自动生成的标签页、作者页、归档页，数量大且互相之间不互链。
- 站点改版时栏目被删，旧 URL 保留了下来，只在外链或历史记录里出现。
- 只有通过站内搜索框提交关键词才能到达的结果页。
- 表单提交、筛选组合或接口拼接出来的参数型 URL，本身不写在任何链接里。
这些页面的共同点是：它们存在，但站内没有任何一条路径把蜘蛛引过去。
蜘蛛还能从哪几条窄路找到它
- Sitemap：这是最常见的兜底方式。但要清楚，写进 Sitemap 只是告知存在，不等于会被抓，更不等于会被认为重要。
- 外部链接：别站链过来，蜘蛛就会顺着外链进来。这条路你控制不了多少。
- 历史抓取记录：如果这个 URL 以前被抓过，蜘蛛可能会再来看看，但频率很低，也不稳定。
- 站内搜索入口：通常这类路径是希望被禁止的，不适合当作发现通道。
换句话说，这几条路都属于补丁，而不是结构。真正稳定的发现方式，仍然是页面之间有一条能点得到、能被解析的链接。
先判断：这个页面值得救吗
不是所有孤儿页面都要抢救。先分两类：
- 值得保留：有搜索需求、有转化价值、被外链引用，或者内容本身有长期参考意义。
- 应该处理：过期活动页、重复的参数页、内容已合并的旧版本。这类页面直接 301 到相关页面，或在不影响用户的前提下返回 410。
一个常见的误区是，把所有孤儿页面都塞进 Sitemap。这通常只是把问题从一个列表搬到另一个列表，抓取预算被摊薄，真正该被发现的页面反而排队更久。
给重要页面补一条更短的入链路径
确定要保留之后，重点是把它重新接回站内结构，而且路径越短越好：
- 从首页往下数，目标页面最好在两三层以内能被点到，避免只有一条深链条通向它。
- 用主题相关的栏目页、聚合页或专题页作为入口，让链接出现在有实际抓取价值的页面上。
- 在相关文章的正文里加自然的锚文本链接，比模板化的“相关推荐”更容易被稳定解析。
- 检查面包屑是否可点击、是否指向真实的栏目页，很多站点的面包屑其实只是装饰。
还有一个容易忽略的点：新补上的入链如果出现在靠 JavaScript 后置渲染的模块里，蜘蛛未必读得到。重要入口尽量放在服务端输出的 HTML 里。
验证蜘蛛是否真的走到了
补完链接以后不要就此结束，用几个简单方式确认效果：
- 查服务器日志，看该 URL 是否出现首次抓取，以及抓取时间是否集中在调整之后。
- 用抓取工具从首页出发模拟走一遍，确认路径真的点得到，中间没有断在某个 404 或重定向环里。
- 检查这个页面自身的出链，别让新入口把另一个死胡同又接了进来。
孤儿页面的问题，说到底不是技术故障，而是结构上的断线。给它接一条能被点到、能被解析、路径够短的链接，比反复提交 Sitemap 有效得多。