投放蜘蛛池时，多數人只盯着“投出去的 URL 有没有被訪問”，很少有人管“投出去但一直没反應的 URL 去了哪里”。它們通常躺在某次導出的表格里，等到整理下一批投放清單时又被重新捞出来，再投一遍，再没反應，循环几轮，占用的還是同一批入口资源和時間。失敗归档要解决的就是這件事：把投不動的 URL 收進一張有字段、有分類、有复查周期的排除清單。
什么算“投不動”
先要区分几種情况，否則會把暂时無响應和真正無效混在一起。
- 入口不可達：URL 本身返回 4xx，或長時間停留在 5xx，连入口頁都拿不到。
- 入口可達但連結不被跟進：頁面能打開，蜘蛛也来過，但站内没有任何指向该 URL 的連結。
- 连續投放零抓取：几個批次投递之後，日誌里都找不到對應记錄。
- 抓取後無後續：被抓過一两次，之後很長一段時間没有任何再次訪問。
這四類的處理方式完全不同，如果统一压缩成一句“這條没效果”，归档就失去了意义。
归档表至少要有這些字段
- URL 與所属域名
- 首次投递時間、最後一次投递時間、累計投递批次
- 日誌里观察到的狀態碼分布
- 入口頁是否存在、是否可正常訪問
- 站内是否有内鏈指向它
- 归類结果與下一步動作
字段不用多，但要能回答一個問题：這條 URL 是通道出了問题，還是内容本身出了問题。
三類归档结果
可修正
問题出在入口或連結上，比如入口頁改版導致断鏈、robots 誤拦、狀態碼配置错誤。這類 URL 修好之後可以重新放回投放清單。
可复查
原因不明确，可能只是時間不够，也可能只是通道一时拥堵。放進观察区，隔一段時間再看，不必每個批次都投。
可放弃
URL 本身已经失效、内容被刪除，或所属域名整体状况不佳。這類直接移出清單，不再做無效消耗。
排除清單怎么用
排除清單最大的價值不是“少投几條”，而是让每一批投放清單保持干净。可以按下面的顺序操作：
- 生成新一批 URL 时，先與排除清單做一次比對，命中的直接過滤。
- 观察区里的 URL 單獨成表，只按周期复查，不參與常規批次。
- 可修正的 URL 修复後，從归档表移除並记錄原因，避免下次又走一遍同样的排查。
- 每轮投放結束後，把新的失敗項追加進归档，別让清單只增不减。
复查周期與解封條件
复查周期按失敗類型区分更實际：狀態碼類問题可以一到两周看一次，纯“没反應”的可以拉長到一個月以上。解封條件要寫清楚，比如“入口頁恢复 200 且站内已有内鏈”“原 URL 内容重新上线”，達到條件才解除排除，而不是凭感觉觉得差不多该再试一次。
排除清單是一份内部台帳，不是對某個 URL 的判决。它的作用是让投放决策有據可依，並不代表某條 URL 一定能被抓取或收錄。
常见誤区
- 把归档做成一删了之，失敗原因全部丢失，下一轮重复踩坑。
- 只按域名归档，忽略路径級別的問题，導致整站被誤判。
- 复查周期一刀切，短周期問题拖太久，長周期問题又查得太勤。
- 归档表與投放清單不同源，两邊資料對不上，比對形同虚设。
失敗归档看起来是收尾工作，實际影响的是下一轮投放的效率。清單越清晰，需要反复试探的 URL 越少，有限的抓取机會就越能集中在還值得投的那部分地址上。