很多人在搭蜘蛛池时，把精力全放在“怎么让蜘蛛进来”，却很少检查“蜘蛛进来之后能走到哪里”。入口页被爬到了，但如果页面上的链接一半是死链，或者大量内容根本没有可点击的路径通往下一层，蜘蛛转两圈就走了，入口页也就成了一次性的消耗品。
死链在入口页里的几种常见形态
死链不只是“点开是 404”这一种。实际运维中更常见的是下面几类，它们的共同点是都在浪费蜘蛛的时间：
- 硬死链：返回 404 或 410 的 URL 仍然挂在导航、列表或正文里。蜘蛛每次来访都撞一次，来回几次之后，这个路径基本不会再被尝试。
- 软 404：页面返回 200，但正文是“内容不存在”“已下线”之类的提示。蜘蛛拿到的是正常状态码，却得不到有效信息，判断成本比直接报错更高。
- 前端渲染失败：链接由 JS 生成，脚本报错或接口超时，蜘蛛渲染后看到的是一片空白。它不执行点击，也就看不到任何出口。
- 超时链接：目标服务器响应极慢，蜘蛛等不到响应就放弃。在它眼里，这条链接和不存在没有区别。
孤岛页面是怎么形成的
孤岛页面指站内没有任何内部链接指向它，只能靠 sitemap 或外链被发现的页面。在蜘蛛池场景里，孤岛通常是这么产生的：模板批量生成时变量拼接出错，链接指向了不存在的路径；分页逻辑只放出前几页，后面的页面没有任何入口；入口页为了“干净”把链接写进 JS 点击事件里，而蜘蛛不执行点击；又或者多个入口页之间的链接只出不进，形成单向的链尾。
孤岛页面本身不一定有问题，但如果它承载着通往目标页的路径，那么这条路径对蜘蛛来说就是断的。
对抓取的实际影响
影响主要体现在三个层面。
第一是抓取预算。蜘蛛每次访问都有次数和时间的上限，撞死链、等超时、渲染空白页，都会占用这份额度。真正有价值的 URL 反而排到了后面，甚至当天没被排上。
第二是链接权重与爬行路径的传递。内部链接是蜘蛛理解站点结构的主要依据。死链让路径中断，孤岛让路径消失，原本可以一层层传下去的访问深度就停在了表层。
第三是蜘蛛对站点质量的判断。一个死链比例偏高、点击后大量空内容的结构，长期看会降低蜘蛛的访问意愿，表现为回访间隔拉长、单次抓取量下降。
排查思路
这类问题不用靠猜，按下面的顺序过一遍通常能定位得比较清楚：
- 看日志中的状态码分布。统计入口页域名下 404、410、5xx 的请求占比，如果 404 一直有稳定的量，说明有链接长期指向不存在的地址，而不是偶发误差。
- 从入口页出发爬一遍。用站内爬取工具或脚本，以入口页为起点沿着链接走，记录抓到的 URL 数量与深度。爬出来的数量明显少于 sitemap 中的数量，就说明存在孤岛。
- 检查渲染后的 DOM。把 JS 执行后的页面结构拉出来，看链接是否真的存在于 HTML 中。只存在于点击事件里的链接，蜘蛛看不到。
- 比对目标页的可达性。确认从入口页到目标页是否存在完整的点击路径，而不只是 sitemap 里写了这个 URL。
日常维护的几条建议
- 入口页上的链接保持有效，失效的路径及时清理或改成 404，不要留在页面上当装饰。
- 避免用软 404 掩盖问题，该返回错误码就返回错误码，蜘蛛更容易理解。
- 关键路径上的链接尽量写在 HTML 里，不要只靠 JS 点击或表单提交。
- 分页、列表这类会随数据变化的模块，定期检查边界情况，防止最后一页之后的所有页面变成孤岛。
- 把死链检查纳入入口页上线流程，而不是等日志里堆出几千条 404 再回头处理。
蜘蛛池解决的是“被发现的概率”，不解决“被走完的路径”。入口页上的每一个链接，都是蜘蛛下一步的落脚点，链接断了，前面的工作就只完成了一半。