蜘蛛进入一个页面之后，并不记得你站点的全貌，它只记得手上有哪些链接可以走。如果这个页面没有任何能被它识别、并且允许抓取的出链，那么这一条抓取路径就走到头了。这不等于页面有问题，但它等于后面的 URL 少了一次被发现的机会。
什么算抓取路径上的死胡同
死胡同有两种：一种是页面上确实一条链接都没有；另一种更常见，页面上看起来有链接，但蜘蛛用不了——比如链接由 JS 在点击后才生成、被 rel="nofollow" 挡住了、或者指向的 URL 恰好被 robots.txt 屏蔽。
第一种一眼能看出来，第二种往往在人工浏览时毫无异常，只有看渲染后的 HTML 才能发现问题。
死胡同常见的几种样子
- 纯图片或纯视频的活动落地页，除了顶部 logo 之外没有别的链接。
- 详情页底部只有一个「返回」，按钮用 javascript:history.back() 实现。
- 列表页做成无限滚动，滚动之前 HTML 里只有几条记录，也没有分页链接。
- 附件页、PDF 页、下载页，只提供文件本身，不留返回入口。
- 出链全部指向站外，或者全部是加了 nofollow 的广告位。
- 需要提交表单、登录或选择城市之后才会出现的页面。
出链不只是「多一条路」
出链的第一个作用是让路径延续，让蜘蛛从当前页走到下一批 URL。第二个作用是帮蜘蛛确认这个页面的角色：一个指向十几条详情页的页面，它更容易被理解为列表；一个既指向同类详情页、又指回分类页的页面，更像正常的内容节点。
反面同样存在。一个页面塞进几百条与主题无关的出链，既分散了页面自身的信号，也让蜘蛛很难判断哪几条更值得跟。出链的价值在于指向明确，不在于数量多。
怎么排查站内的死胡同
- 用爬虫工具完整抓一遍站点，导出每个 URL 的出链数量，重点看出链为 0 的页面。
- 对照抓取日志，看蜘蛛的访问是否集中在少数入口，之后再没有更深的记录。
- 检查面包屑、主导航、侧边栏是否写在模板层，而不是只在部分页面上手工添加。
- 把 Sitemap 里的 URL 和站内链接图比对，找出「只出现在 Sitemap、没有任何内链指向」的页面。这类页面即使能被抓取，也几乎没有出链可走。
补路时值得坚持的几个做法
- 每类内容模板都留固定导航：面包屑、返回上级列表、相关阅读，至少保留其中两处。
- 面包屑和分页尽量用普通的 a 标签，不要靠脚本在点击时拼接。
- 分页列表第一页就带上后续页码的真实链接，而不是等滚动后再加载。
- 出链的锚文本写清楚指向什么，「更多」这类词对判断帮助有限。
- 重要入口不要只放在页脚，页脚链接在抓取顺序上通常靠后。
蜘蛛不会因为一个页面没有出链而处罚你，但一段路径断在这里，后面的内容就少了一条被发现的路。补链接的成本，通常远低于重新靠 Sitemap 或外链去唤起注意。
小结
抓取路径是链路的集合，任何一个环节没有出口，路径就停在原地。日常维护时，把「每类模板都有可抓取的出链」当成一条硬规则，比事后逐个页面补救省力得多。真正需要盯的，是那些看起来有链接、实际上蜘蛛走不通的页面。