蜘蛛池跑一段時間後，入口頁打不開、目标頁跳走、域名临时故障這類情况几乎躲不掉。多數人把注意力放在新增入口頁上，很少回头處理已经失效的舊頁面。但失效本身不是最麻烦的，麻烦在于爬虫會怎么记住這些失效，以及它們會不會繼續把抓取次數花在上面。
爬虫遇到 404 时實际發生了什么
返回 404，意思是這個地址上没有内容。爬虫一般不會因為一條 404 就把整個站点判成不可信，但它會记錄這個 URL 的狀態，並調整後續的訪問安排。單條 404 通常影响有限，同一目錄下成片出現 404，才容易触發目錄級的降频。
- 孤立的 404：爬虫可能還會再试探一两次，然後放弃
- 成片的 404：该目錄的重訪周期會被拉長，抓取频次下降
- 404 頁面却返回 200：爬虫會当成正常頁面反复抓取，消耗更多预算
所以重点不是有没有 404，而是 404 是否集中出現，以及狀態碼是否和實际内容一致。
软 404 與“假活着”的入口頁
服務器返回 200，頁面本身却是空的、只剩一句“内容不存在”，或者只有一個空壳模板。這種情况對爬虫更不友好：它拿到的信号是“頁面正常”，于是可能持續回訪，既占抓取预算，也不产生有效的連結传递。入口頁本来承担的是被發現的职责，如果它只能返回 200 却没有任何可讀内容和可用連結，那它在池子里的作用其實已经接近于零。
狀態碼是给爬虫看的第一层信号，頁面内容才是第二层。两层不一致，爬虫就容易做出错誤判断。
入口頁失效後，連結路径怎么散掉
入口頁的價值在于它是外鏈和内部連結的落点。一旦入口頁失效且没有替代地址，挂在它上面的連結就失去了被繼續爬取的路径。爬虫不會替你去找新入口，它只會沿着已经發現的連結走。失效頁面越多，能繼續往下走的路径就越少，池子的實际覆盖范围會慢慢收缩。這個過程不一定剧烈，但會持續發生。
處理节奏：什么时候清理，什么时候保留
失效頁面不是一律删掉，也不是一律留着。可以按下面的顺序判断：
- 先確認失效原因，是临时故障、内容迁移，還是頁面确實不再需要
- 短期故障的頁面，返回 503，让爬虫知道是暂时不可用，而不是永久消失
- 確認永久失效的頁面，返回 404 或 410，把狀態说清楚
- 有對應替代頁面的，做 301，並且尽量一步到位
- 確認無用的頁面，让它明确 404，同时停止在内部繼續連結它
顺序上的關键是先判断再動手。很多人习惯直接返回 404 或直接 301，结果临时故障被当成永久失效，或者一個頁面在 301 之後又繼續被内部連結指向，狀態反复變化，反而让爬虫难以稳定理解。
301 鏈和跳轉的注意点
目标頁搬家时，跳轉鏈路越短越好。A 跳 B、B 跳 C 這種鏈式跳轉，會让爬虫多花一次甚至几次訪問才能到终点，部分爬虫對過長的跳轉鏈會降低處理優先級。另外，跳轉目标最好是稳定地址，不要今天跳到這個頁、明天跳到另一個頁。入口頁跳轉目标频繁改動，等同于让爬虫反复重新確認，效率並不高。
定期检查死鏈的實用做法
- 定期把入口頁列表跑一遍，记錄每個地址返回的狀態碼
- 把 4xx 和 5xx 分開看：前者多是内容問题，後者多是服務問题
- 特別關注持續返回 404 的舊入口頁，以及返回 200 却没有有效内容的頁面
- 检查完就處理，不要只记錄不動作，問题會随入口頁數量增加而放大
死鏈處理不是一個單獨的清理動作，而是维護池子抓取效率的一部分。失效頁面的數量會随着時間自然增長，定期检查和處理能让爬虫把有限的訪問次數花在還能走通的路径上。把失效信息明确地告诉爬虫，通常比让它們反复撞在同一批打不開的地址上要划算。