做蜘蛛池入口页时经常遇到一种情况：链接撒出去的时候是好的，过一阵目标页改版、下线或者换域名，入口页上的链接就陆续变成 404 或 410。这时很多人会纠结：搜索蜘蛛还会不会一遍遍来抓这些死链？会不会连累入口页本身？要不要专门腾出精力去清理？
先分清 404 和 410 的差别
两个状态码都表示“这里没有内容”，但语气不一样。404 是“暂时找不到”，搜索蜘蛛会认为这个地址以后可能恢复，于是按一定周期回访；410 是“明确、永久地移除”，理论上回访会更少、更快放弃。不过这只是倾向，不是开关——具体多久停，取决于搜索引擎自己的策略、这个地址以前的表现，以及站点整体的抓取情况，没有固定的天数可以套。
实务上，如果是确定不再恢复的页面，返回 410 比一直挂着 404 更干脆；如果是临时下线，别用 404 硬扛，可以让它返回带 Retry-After 的 503，或者先把入口页上的链接摘掉。
死链会不会拖累入口页
先把话说清楚：入口页上挂着一批死链，并不会因此被“降权”，这点不用自己吓自己。但有两个实际影响值得注意。
- 抓取配额被摊薄。搜索蜘蛛给每个站点的抓取次数是有限的。入口页链接越多、死链越多，被浪费在无效请求上的比例就越高，真正需要被发现的新 URL 反而排得更靠后。
- 链接图质量变差。入口页的价值在于把蜘蛛带到目标页。如果其中一半链接是死的，这个入口页的路由效率就下降了。
另外，死链集中出现，往往说明入口页缺少维护——有人撒完链接就不管了。这种入口页即使被频繁抓取，也很难稳定地把蜘蛛送到有效目标页上。
自查和清理的顺序
- 从服务器日志里筛出 404、410 状态码，按路径归类，看是集中在某几个目录，还是零散分布。
- 区分性质：整站改版、页面永久删除的，归为“不再恢复”；只是迁移中、临时下线的，归为“会回来”。
- 不再恢复的页面，能返回 410 的就返回 410；同时把入口页上对应的链接删掉，或换成新的目标地址。
- 会回来的页面，先别让它返回 404。用 503 加 Retry-After，或者暂时从入口页隐藏。
- sitemap 和入口页要同步改。只在 sitemap 里删掉、入口页还留着，蜘蛛照样会从入口页找到它。
- 改完后隔一段时间再翻日志，确认这些路径的请求量确实在下降，而不是换了个状态码继续被刷。
几个常见误区
1. 留着死链“保住权重”
不成立。页面没了，链接指向它带不来任何东西，只增加无效抓取。
2. 所有死链一律 301 到首页
大量不相关的旧地址跳到首页，用户体验差，也给搜索蜘蛛制造了一堆重复的软跳转。只有内容确实迁移到某个新地址时，才做点对点的 301。
3. 只清理 sitemap，不动入口页
入口页是蜘蛛发现 URL 的主要入口之一，它的更新优先级不比 sitemap 低。两边脱节，清理就等于没做。
入口页不是一劳永逸的资产，它更像一条需要定期巡检的线路：哪里断了补哪里，比反复往上加新链接更省钱，也更少干扰现有 URL 的抓取节奏。