投放蜘蛛池时，多数人只盯着“投出去的 URL 有没有被访问”，很少有人管“投出去但一直没反应的 URL 去了哪里”。它们通常躺在某次导出的表格里，等到整理下一批投放清单时又被重新捞出来，再投一遍，再没反应，循环几轮，占用的还是同一批入口资源和时间。失败归档要解决的就是这件事：把投不动的 URL 收进一张有字段、有分类、有复查周期的排除清单。
什么算“投不动”
先要区分几种情况，否则会把暂时无响应和真正无效混在一起。
- 入口不可达：URL 本身返回 4xx，或长时间停留在 5xx，连入口页都拿不到。
- 入口可达但链接不被跟进：页面能打开，蜘蛛也来过，但站内没有任何指向该 URL 的链接。
- 连续投放零抓取：几个批次投递之后，日志里都找不到对应记录。
- 抓取后无后续：被抓过一两次，之后很长一段时间没有任何再次访问。
这四类的处理方式完全不同，如果统一压缩成一句“这条没效果”，归档就失去了意义。
归档表至少要有这些字段
- URL 与所属域名
- 首次投递时间、最后一次投递时间、累计投递批次
- 日志里观察到的状态码分布
- 入口页是否存在、是否可正常访问
- 站内是否有内链指向它
- 归类结果与下一步动作
字段不用多，但要能回答一个问题：这条 URL 是通道出了问题，还是内容本身出了问题。
三类归档结果
可修正
问题出在入口或链接上，比如入口页改版导致断链、robots 误拦、状态码配置错误。这类 URL 修好之后可以重新放回投放清单。
可复查
原因不明确，可能只是时间不够，也可能只是通道一时拥堵。放进观察区，隔一段时间再看，不必每个批次都投。
可放弃
URL 本身已经失效、内容被删除，或所属域名整体状况不佳。这类直接移出清单，不再做无效消耗。
排除清单怎么用
排除清单最大的价值不是“少投几条”，而是让每一批投放清单保持干净。可以按下面的顺序操作：
- 生成新一批 URL 时，先与排除清单做一次比对，命中的直接过滤。
- 观察区里的 URL 单独成表，只按周期复查，不参与常规批次。
- 可修正的 URL 修复后，从归档表移除并记录原因，避免下次又走一遍同样的排查。
- 每轮投放结束后，把新的失败项追加进归档，别让清单只增不减。
复查周期与解封条件
复查周期按失败类型区分更实际：状态码类问题可以一到两周看一次，纯“没反应”的可以拉长到一个月以上。解封条件要写清楚，比如“入口页恢复 200 且站内已有内链”“原 URL 内容重新上线”，达到条件才解除排除，而不是凭感觉觉得差不多该再试一次。
排除清单是一份内部台账，不是对某个 URL 的判决。它的作用是让投放决策有据可依，并不代表某条 URL 一定能被抓取或收录。
常见误区
- 把归档做成一删了之，失败原因全部丢失，下一轮重复踩坑。
- 只按域名归档，忽略路径级别的问题，导致整站被误判。
- 复查周期一刀切，短周期问题拖太久，长周期问题又查得太勤。
- 归档表与投放清单不同源，两边数据对不上，比对形同虚设。
失败归档看起来是收尾工作，实际影响的是下一轮投放的效率。清单越清晰，需要反复试探的 URL 越少，有限的抓取机会就越能集中在还值得投的那部分地址上。