搜索蜘蛛在站点里走动，靠的是一张由链接织成的网。它从一个 URL 出发，顺着页面里的 a 标签走向下一个，再下一个。只要链条不断，新 URL 就总有被发现的机会。真正麻烦的情况，是蜘蛛爬到了一个页面，却发现这里没有任何可以继续前进的链接——抓取路径在这里停住，后面那些本该被访问的页面，也就失去了被发现的机会。
什么样的页面算“死胡同”
判断标准很简单：这个页面被访问过之后，蜘蛛还能不能从它这里走到别的 URL。如果答案是不能，它就是一条断头路。注意，这跟页面内容好坏无关，一个内容很扎实的页面，只要出链为零，对蜘蛛来说就是终点站。
常见的几种形态
- 纯落地页：活动专题页、单页宣传页，整页只有图片和一段文案，链接全部指向站外或者干脆没有。
- 只剩“返回上一页”的详情页：返回按钮是脚本里的 history.back()，对蜘蛛不构成链接。
- JS 渲染后才出现的列表：HTML 源码里干干净净，相关推荐由脚本插入，抓取时拿到的是空壳。
- 登录墙后的页面：未登录状态下页面只剩一个表单，后续内容一无所获。
- 参数组合页：筛选、排序生成的 URL 大量重复，彼此之间又没有交叉链接。
为什么“进得去、走不动”比“抓不到”更麻烦
抓不到的页面，蜘蛛至少不会浪费一次请求。而死胡同页面会被正常抓取、正常计入抓取预算，却不产生任何新的 URL 线索。站点规模大起来以后，这类页面积少成多，会明显拖慢新内容的发现速度。
更隐蔽的是它对抓取路径的影响。蜘蛛记录的是“从哪来、能到哪去”，当一条路径反复走到死胡同，站点内部的可达深度分布就会变得不均匀：少数入口页被反复访问，深层内容长期无人问津。
怎么找出这些页面
- 先从蜘蛛访问日志里筛出被访问过的 URL，去掉图片、CSS、JS 等静态资源。
- 用爬虫工具抓一遍站点，导出每个 URL 的出链数量，出链为零的优先看。
- 把日志里的 URL 和 Sitemap 里的 URL 对比，长期只被蜘蛛访问、没有内链指向的页面，通常就是孤岛。
- 看深度分布：如果大部分页面深度超过五层，说明中间层可能出现了断点。
给死胡同开个出口
修补的思路不是硬塞链接，而是让页面重新回到站点的结构里：
- 补上面包屑导航，把当前位置和上级栏目连起来。
- 在正文底部加同栏目或相关内容的链接，控制在几条以内，别做成链接堆。
- 列表页和详情页互相打通，详情页能回到列表，列表能进入详情。
- 标签页、聚合页作为补充入口，但要避免生成大量内容雷同的页面。
- Sitemap 可以作为兜底发现渠道，但它替代不了内链——它只告诉蜘蛛 URL 存在，不告诉蜘蛛这个 URL 在站点里处于什么位置。
链接的价值在于相关性和方向，不在于数量。为了消除死胡同而堆砌无关链接，通常只会让页面结构更混乱。
顺带留意服务器这一环
路径修好之后，还要保证蜘蛛能顺利走完。响应时间过长、间歇性连接失败，都会让原本通畅的路径在中间断开，蜘蛛走到一半就放弃。稳定、响应快的服务器，是这些链接结构能真正生效的前提。
死胡同不是一天形成的，多数情况下是页面持续改版、栏目反复调整后留下的结果。定期用日志和爬虫结果对照一次，把那些没有出口的页面找出来补上几条合理的链接，往往比新增一批内容更快看到抓取上的变化。