标签：5xx 与超时

目标 URL 经常超时或返回 5xx，搜索蜘蛛还会再来抓吗？

把新地址放进蜘蛛池入口页只是让搜索蜘蛛知道它存在，真正来抓时如果碰到 5xx、超时或 403，结果会完全不同。本文拆解搜索蜘蛛遇到抓取失败后的重试与降频逻辑，说明入口页为什么会被减少访问，以及从日志排查到修复的具体步骤。