入口頁做出去之後，最容易忽略的一類問题不是連結放得對不對，而是連結指向的那個目标 URL 根本打不開。搜尋蜘蛛顺着入口頁爬過去，拿到的是 404、超时或者一個空白頁，這时候它接下来會怎么做，很多站長其實没仔细想過。
先分清“打不開”是哪一種
同样一句“頁面打不開”，在搜尋蜘蛛眼里可能是完全不同的信号。抓取工具拿到的是 HTTP 狀態碼，而不是你的主观感受，所以先要看日誌里的狀態碼。
- 404 Not Found：頁面确實不存在，這是最明确的“此路不通”信号。
- 410 Gone：頁面被永久移除，相比 404 表達得更确定。
- 500 / 502 / 503：服務器出错或临时不可用，這類狀態通常被理解為暂时性問题。
- 连接超时 / DNS 解析失敗：抓取請求根本没连上，會被记成抓取错誤。
- 软 404：HTTP 返回 200，但頁面寫着内容不存在，或者正文是空的。這種最容易被誤判。
搜尋蜘蛛拿到 404 之後會做什么
大体逻辑是：這次抓取失敗，目标 URL 不會被当作有效頁面處理，已有的索引记錄會随着時間被清理。至于多久清理、要不要再试一次，取决于搜尋引擎自己的策略，没有對外承诺的固定時間表。
需要区分的是“這條連結”和“這條入口頁”。搜尋蜘蛛判断的是單個 URL 的可抓取性，不會因為一個入口頁里有几條死鏈，就立刻把整張入口頁拉黑。但如果一個入口頁上大部分連結都打不開，那它作為連結来源的價值就接近于零了。
對入口頁本身的影响
常见的情况是：入口頁抓取正常，只是那些指向失效目标的連結不再被跟進。抓取频率是否下降，更多取决于入口頁整体质量、更新节奏和服務器稳定性，而不是單條死鏈。真正會拉低评價的，是長期大批量的死鏈，或者連結指向的頁面清一色返回異常。
一條死鏈是故障，几百條死鏈是信号。搜尋蜘蛛會據此判断這個入口頁值不值得再来。
按這個顺序排查
- 從服務器日誌里筛出搜尋蜘蛛的訪問记錄，重点看目标 URL 對應的狀態碼，而不是只看入口頁。
- 確認失效是临时的還是長期的：连續几天都是 404，才算真的没了。
- 区分是連結寫错了，還是頁面被删了。前者改連結，後者决定用 404 還是 410。
- 检查有没有 200 狀態的软 404。這類問题日誌里看不出来，要看頁面内容。
- 检查 robots.txt 是否誤挡了目錄，這種情况日誌里可能连狀態碼都看不到。
怎么修比較稳妥
- 連結寫错的，直接在入口頁把 URL 改對，不要靠跳轉掩盖。
- 頁面确實下线的，返回 404 或 410，不要用 200 返回一個空壳頁。
- 頁面只是临时维護的，返回 503 並带上合理的重试提示，比返回 404 更合适。
- 有大面积連結失效的入口頁，與其一條條补，不如重新整理一批有效的目标 URL。
- 修复後不必急着到處提交，先观察日誌里搜尋蜘蛛是否重新抓到這些 URL。
几個容易搞混的点
第一，入口頁返回 200 並不代表里面的連結没問题，两者要分開看。第二，把失效連結改成跳轉到首頁，並不能算修复，跳轉目标本身的内容和目标 URL 不相關，價值有限。第三，刪除連結不會立刻让搜尋蜘蛛忘记那個 URL，它可能還會自己再来试几次。第四，入口頁里放一堆已经不存在的目标 URL，對站点运营没有正面作用，反而增加了维護成本。
小结
目标 URL 打不開這件事，處理原則很简單：確認狀態碼、区分临时和永久、该改連結的改連結、该返回 410 的返回 410，然後回到日誌里看结果。搜尋蜘蛛的反馈都寫在日誌里，比任何猜测都可靠。