入口页做出去之后，最容易忽略的一类问题不是链接放得对不对，而是链接指向的那个目标 URL 根本打不开。搜索蜘蛛顺着入口页爬过去，拿到的是 404、超时或者一个空白页，这时候它接下来会怎么做，很多站长其实没仔细想过。
先分清“打不开”是哪一种
同样一句“页面打不开”，在搜索蜘蛛眼里可能是完全不同的信号。抓取工具拿到的是 HTTP 状态码，而不是你的主观感受，所以先要看日志里的状态码。
- 404 Not Found：页面确实不存在，这是最明确的“此路不通”信号。
- 410 Gone：页面被永久移除，相比 404 表达得更确定。
- 500 / 502 / 503：服务器出错或临时不可用，这类状态通常被理解为暂时性问题。
- 连接超时 / DNS 解析失败：抓取请求根本没连上，会被记成抓取错误。
- 软 404：HTTP 返回 200，但页面写着内容不存在，或者正文是空的。这种最容易被误判。
搜索蜘蛛拿到 404 之后会做什么
大体逻辑是：这次抓取失败，目标 URL 不会被当作有效页面处理，已有的索引记录会随着时间被清理。至于多久清理、要不要再试一次，取决于搜索引擎自己的策略，没有对外承诺的固定时间表。
需要区分的是“这条链接”和“这条入口页”。搜索蜘蛛判断的是单个 URL 的可抓取性，不会因为一个入口页里有几条死链，就立刻把整张入口页拉黑。但如果一个入口页上大部分链接都打不开，那它作为链接来源的价值就接近于零了。
对入口页本身的影响
常见的情况是：入口页抓取正常，只是那些指向失效目标的链接不再被跟进。抓取频率是否下降，更多取决于入口页整体质量、更新节奏和服务器稳定性，而不是单条死链。真正会拉低评价的，是长期大批量的死链，或者链接指向的页面清一色返回异常。
一条死链是故障，几百条死链是信号。搜索蜘蛛会据此判断这个入口页值不值得再来。
按这个顺序排查
- 从服务器日志里筛出搜索蜘蛛的访问记录，重点看目标 URL 对应的状态码，而不是只看入口页。
- 确认失效是临时的还是长期的：连续几天都是 404，才算真的没了。
- 区分是链接写错了，还是页面被删了。前者改链接，后者决定用 404 还是 410。
- 检查有没有 200 状态的软 404。这类问题日志里看不出来，要看页面内容。
- 检查 robots.txt 是否误挡了目录，这种情况日志里可能连状态码都看不到。
怎么修比较稳妥
- 链接写错的，直接在入口页把 URL 改对，不要靠跳转掩盖。
- 页面确实下线的，返回 404 或 410，不要用 200 返回一个空壳页。
- 页面只是临时维护的，返回 503 并带上合理的重试提示，比返回 404 更合适。
- 有大面积链接失效的入口页，与其一条条补，不如重新整理一批有效的目标 URL。
- 修复后不必急着到处提交，先观察日志里搜索蜘蛛是否重新抓到这些 URL。
几个容易搞混的点
第一，入口页返回 200 并不代表里面的链接没问题，两者要分开看。第二，把失效链接改成跳转到首页，并不能算修复，跳转目标本身的内容和目标 URL 不相关，价值有限。第三，删除链接不会立刻让搜索蜘蛛忘记那个 URL，它可能还会自己再来试几次。第四，入口页里放一堆已经不存在的目标 URL，对站点运营没有正面作用，反而增加了维护成本。
小结
目标 URL 打不开这件事，处理原则很简单：确认状态码、区分临时和永久、该改链接的改链接、该返回 410 的返回 410，然后回到日志里看结果。搜索蜘蛛的反馈都写在日志里，比任何猜测都可靠。