标簽：5xx 與超时

目标 URL 经常超时或返回 5xx，搜尋蜘蛛還會再来抓吗？

把新地址放進蜘蛛池入口頁只是让搜尋蜘蛛知道它存在，真正来抓时如果碰到 5xx、超时或 403，结果會完全不同。本文拆解搜尋蜘蛛遇到抓取失敗後的重试與降频逻辑，說明入口頁為什么會被减少訪問，以及從日誌排查到修复的具体步骤。