蜘蛛在站内移動靠的是連結。只要頁面上還挂着一條指向已刪除地址的連結，蜘蛛就會顺着走過去，然後拿到一個 404。單次 404 不會有什么戏剧性的後果，但如果這類連結散落在導航、侧栏和列表頁里，抓取路径就會不断出現断头路，抓取预算被反复消耗在同一批不存在的 URL 上。
蜘蛛拿到 404 之後發生了什么
服務器的 404 响應本身是明确的信号：這個地址没有内容。蜘蛛通常會把该 URL 标记為不存在，不再為它安排後續抓取。已抓取的頁面不會因為頁面上存在一個死鏈就整体被判定為低质，但這條連結不會再把任何抓取通道传递下去。
如果服務器返回的是 410，含义更彻底——资源已被永久刪除。相比之下，410 往往能让蜘蛛更快地把 URL 從队列里清掉；404 也可能只是暂时找不到，蜘蛛偶尔會再回来確認一次。两種都可以用，關键是別把 404 的响應寫成 200。
還有一種容易被忽略的情况：頁面已经删了，但服務器把請求重寫到某個通用模板並返回 200，頁面上寫着“内容不存在”。這就是软 404。蜘蛛看到的是正常頁面，會照常抓取、照常收錄，只是收錄的是一張空壳。
死鏈是怎么拖慢抓取的
- 预算被占用：每次抓到 404 都要走一遍請求與响應流程，這部分開销換不回任何有效内容。
- 路径断掉：本来可以通過這條連結到達的深层頁面，現在少了一條入口。
- 日誌變吵：404 频繁出現會掩盖真正的抓取異常，排查时更难看出問题在哪。
- 反复触發：如果 Sitemap 或站内多處仍然寫着這個 URL，蜘蛛會在不同時間重复驗證。
處理顺序：先改連結，再收 URL
- 站内仍有價值的對應關系：把舊地址 301 到内容最接近、最相關的一個頁面，而不是统一丢到首頁。整站统一跳首頁很容易被当成软 404，用戶体驗也不好。
- 内容确實不再需要：让它返回 404 或 410，不要為了看起来干净而返回 200。确定永久刪除的用 410 更干脆。
- 临时下架、稍後會恢复：尽量保留原 URL 可訪問，或者给出明确的恢复预期，不要長期用 302 打游击。
- 清理指向死鏈的入口：優先處理主導航、面包屑、侧栏和正文里的連結，這些位置被抓取的概率最高。
- 检查 Sitemap：已刪除的 URL 應從清單里移除，避免蜘蛛按图索骥反复去撞 404。
從日誌里確認死鏈是否真的收干净了
處理完之後不要只看頁面，去看服務器日誌。篩選出返回 404、410 的請求，重点看两件事：一是請求频率是否在下降，二是 Referer 指向哪里。如果某個 404 地址還在被稳定地請求，通常說明站内或站外仍有連結指向它，或者 Sitemap 里還留着這條记錄。把来源頁找出来改掉，比單纯在日誌里屏蔽這個 URL 更有意义。
几個常见的處理誤区
- 所有 404 一律 301 到首頁：短期看似减少了死鏈，實际會把大量無關入口压缩到一個頁面上，抓取路径反而更混乱。
- 死鏈頁面用 JS 跳轉：蜘蛛渲染需要額外成本，而且跳轉前的狀態碼仍然可能是 200。
- 只改正文連結，忘了分頁和篩選參數：列表頁翻舊了也會留下大量失效地址。
- 删了頁面却保留 Sitemap 條目：這是最容易被忽略的重复抓取来源。
死鏈本身不是灾难，長期没人管的死鏈才是。把入口改掉、把狀態碼寫對、把清單清干净，蜘蛛的抓取路径自然就顺了。