很多人搭好蜘蛛池之後，第一件事就是把手上攒的 URL 一股脑丢進入口頁，然後盯着日誌看蜘蛛有没有来。真正被忽略的往往是更前面的一步：這些 URL 自己還活着吗？如果喂進去的地址有大量 404、超时、跳轉鏈或者空白頁，蜘蛛来了也只是白跑一趟，還會顺带拉低入口頁本身的抓取效率。
為什么要在投喂前做存活檢測
蜘蛛的抓取预算是有限的，它對一個入口頁的耐心也是有限的。入口頁上挂着两百個連結，其中一半点開是死鏈，那么這次抓取里有一半的往返是浪費的。更麻烦的是，连續出現異常响應，會让蜘蛛降低對這個入口頁的訪問频次——它不會去区分“這是站長的目标 URL 有問题”還是“這個入口頁本身不靠谱”。
存活檢測的目的很朴素：把能正常打開、内容可讀的 URL 筛出来，把明顯有問题的先放一邊。它不保證收錄，但能减少無效投喂。
檢測哪些項目
- HTTP 狀態碼：2xx 之外都要單獨看。3xx 要跟到最终落地頁，5xx 和超时可以先缓一缓。
- 跳轉鏈長度：超過两三次跳轉的 URL，抓取成本明顯上升，能換直鏈就換直鏈。
- 頁面正文：狀態碼 200 也可能是空壳頁、驗證頁，或是要靠 JS 渲染才出内容的頁面，蜘蛛未必能看到真正的正文。
- robots 與 meta：別把目标站自己 disallow 或 noindex 的地址喂進来。
- 响應時間：几秒才返回的頁面，蜘蛛不會一直等。
怎么跑這批檢測
- 按批次分，一次几十到几百個，別一次性打完。
- 並發压低，超时设短一些（比如 5 到 10 秒），失敗重试一到两次即可，避免任務卡死。
- 請求头里带上一個正常的 UA，別用預設脚本 UA 到處撞。
- 结果落表：URL、狀態碼、跳轉终点、响應時間、檢測時間。這份表後面會反复用到。
檢測流量和蜘蛛流量是两回事。檢測跑得再勤，也不會让蜘蛛多来一次；它只是帮你把下锅的料挑干净。
几個容易踩的坑
- 只檢測一次就当永久有效：域名過期、頁面改版、服務器迁移都會让狀態變化，隔一段時間要重跑。
- 目标站是別人的站，檢測太猛會被封：並發和频率要克制，被拉黑了反而影响正常的抓取。
- 把跳轉一律当死鏈扔掉：很多正常頁面本来就有跳轉，關键是看终点能不能打開、内容是否相關。
- 只看狀態碼不看内容：一堆 200 的空壳頁，效果和死鏈差不多。
檢測之後怎么處理
把结果分成三類更實用：
- 可用：直接進池，按正常节奏投喂。
- 可修复：跳轉鏈、响應慢、临时 5xx 的，先记錄，等复检通過再進池。
- 淘汰：長期 404、域名已失效、明确 noindex 的，從候選表里移出去，別再反复占位置。
每個批次的檢測记錄留一份，配合入口頁的訪問日誌一起看：蜘蛛抓了哪些、哪些没抓、没抓的是不是恰好都落在淘汰那一類里。這样在調整入口頁的連結构成时，心里會更有底。
说到底，存活檢測不复杂，就是把“喂什么”這件事做得比“喂多少”更認真一点。入口頁的位置有限，蜘蛛的時間也有限，把這两样留给真正打得開的頁面，比盲目堆量划算得多。