很多人搭好蜘蛛池之后，第一件事就是把手上攒的 URL 一股脑丢进入口页，然后盯着日志看蜘蛛有没有来。真正被忽略的往往是更前面的一步：这些 URL 自己还活着吗？如果喂进去的地址有大量 404、超时、跳转链或者空白页，蜘蛛来了也只是白跑一趟，还会顺带拉低入口页本身的抓取效率。
为什么要在投喂前做存活检测
蜘蛛的抓取预算是有限的，它对一个入口页的耐心也是有限的。入口页上挂着两百个链接，其中一半点开是死链，那么这次抓取里有一半的往返是浪费的。更麻烦的是，连续出现异常响应，会让蜘蛛降低对这个入口页的访问频次——它不会去区分“这是站长的目标 URL 有问题”还是“这个入口页本身不靠谱”。
存活检测的目的很朴素：把能正常打开、内容可读的 URL 筛出来，把明显有问题的先放一边。它不保证收录，但能减少无效投喂。
检测哪些项目
- HTTP 状态码：2xx 之外都要单独看。3xx 要跟到最终落地页，5xx 和超时可以先缓一缓。
- 跳转链长度：超过两三次跳转的 URL，抓取成本明显上升，能换直链就换直链。
- 页面正文：状态码 200 也可能是空壳页、验证页，或是要靠 JS 渲染才出内容的页面，蜘蛛未必能看到真正的正文。
- robots 与 meta：别把目标站自己 disallow 或 noindex 的地址喂进来。
- 响应时间：几秒才返回的页面，蜘蛛不会一直等。
怎么跑这批检测
- 按批次分，一次几十到几百个，别一次性打完。
- 并发压低，超时设短一些（比如 5 到 10 秒），失败重试一到两次即可，避免任务卡死。
- 请求头里带上一个正常的 UA，别用默认脚本 UA 到处撞。
- 结果落表：URL、状态码、跳转终点、响应时间、检测时间。这份表后面会反复用到。
检测流量和蜘蛛流量是两回事。检测跑得再勤，也不会让蜘蛛多来一次；它只是帮你把下锅的料挑干净。
几个容易踩的坑
- 只检测一次就当永久有效：域名过期、页面改版、服务器迁移都会让状态变化，隔一段时间要重跑。
- 目标站是别人的站，检测太猛会被封：并发和频率要克制，被拉黑了反而影响正常的抓取。
- 把跳转一律当死链扔掉：很多正常页面本来就有跳转，关键是看终点能不能打开、内容是否相关。
- 只看状态码不看内容：一堆 200 的空壳页，效果和死链差不多。
检测之后怎么处理
把结果分成三类更实用：
- 可用：直接进池，按正常节奏投喂。
- 可修复：跳转链、响应慢、临时 5xx 的，先记录，等复检通过再进池。
- 淘汰：长期 404、域名已失效、明确 noindex 的，从候选表里移出去，别再反复占位置。
每个批次的检测记录留一份，配合入口页的访问日志一起看：蜘蛛抓了哪些、哪些没抓、没抓的是不是恰好都落在淘汰那一类里。这样在调整入口页的链接构成时，心里会更有底。
说到底，存活检测不复杂，就是把“喂什么”这件事做得比“喂多少”更认真一点。入口页的位置有限，蜘蛛的时间也有限，把这两样留给真正打得开的页面，比盲目堆量划算得多。