很多人在蜘蛛池里更新入口頁後，會盯着日誌問：我明明把新目标 URL 放上去了，搜尋蜘蛛怎么還不来？這個問题没有统一答案，因為搜尋蜘蛛什么时候重新抓取一個頁面，取决于它自己的調度，而不是你改完的那一刻。
重新抓取不是“提交即触發”
搜尋蜘蛛發現新 URL 通常分两步：先重新抓取你的入口頁 HTML，再從里面解析出新的連結，放進待抓取队列。入口頁本身如果没有被重新抓取，新連結就没有机會被發現。即使入口頁被抓了，新連結也只是進入队列，什么时候抓目标 URL，又是另一轮調度。
所以，問“多久”之前，先要分清你關心的是入口頁被重新抓取，還是目标 URL 被首次抓取。這两個時間点经常不是同一回事。
影响重新抓取間隔的几個因素
- 入口頁的更新歷史：長期稳定更新的頁面，蜘蛛回訪相對更勤；長期不更新、内容几乎不變的頁面，回訪間隔可能拉長。
- 入口頁的訪問路径：如果入口頁能從其他頁面、sitemap 或其他入口頁被連結到，蜘蛛更容易再次碰到它。
- 服務器响應：入口頁如果经常超时、返回 5xx，蜘蛛會降低抓取频率，甚至暂时不再来。
- 抓取配額：一個站点能被抓取的總量有限，入口頁數量多、目标 URL 多时，蜘蛛會按優先級慢慢安排。
- 頁面狀態：如果入口頁被 noindex、被 robots 屏蔽或 canonical 指向別處，蜘蛛對它的處理方式會變，連結跟進也會受影响。
入口頁改連結後的實际表現
比較常见的情况是：入口頁先被重新抓取，日誌里出現搜尋蜘蛛訪問入口頁的记錄；然後過一段時間，目标 URL 才出現抓取记錄。這個間隔可能几小时，也可能几天，還可能只進入“已發現未抓取”狀態很久不動。
抓取和收錄是两件事。目标 URL 被抓過，不代表一定會被收錄；入口頁被重新抓取，也不代表里面的每個連結都會马上被跟進。
如果你只看到入口頁被抓，就断定新連結很快會被處理，很容易得到错誤结论。
可以做的几件事
- 改完保持稳定：不要今天加一批連結，明天又删掉重排。频繁變動會让蜘蛛难以判断頁面结构。
- 让入口頁保持可訪問：返回 200，内容能正常渲染，不要用复杂的 JS 异步注入關键連結。
- 给入口頁增加被發現的机會：用站内連結、sitemap 或其他入口頁指向它，比單獨等蜘蛛回訪更實际。
- 观察日誌而不是猜：看搜尋蜘蛛對入口頁的抓取時間、抓取频率，以及目标 URL 是否開始出現抓取记錄。
- 分批更新：一次只改一部分入口頁，观察反馈，再决定下一步，避免一次性全量替換。
- 检查目标 URL 本身：目标 URL 如果返回 404、503，或被 robots、canonical 挡住，入口頁再改也很难推進下一步。
不要踩的誤区
- 把“重新抓取”当成即时動作，改完就反复刷新日誌。
- 看到入口頁被抓，就認為所有目标連結都會被立刻抓取。
- 為了提高频率，不停地改入口頁内容，反而让頁面表現不稳定。
- 忽略目标 URL 的可抓取性，只盯着入口頁。
總结一下：入口頁改了目标連結之後，搜尋蜘蛛多久重新抓取、多久發現新 URL，没有固定時間表。更可靠的做法是保證入口頁正常可訪問、结构稳定，用日誌確認蜘蛛的實际行為，再根據抓取情况小步調整。把精力放在让頁面容易被發現、容易被抓取上，比追問一個精确的“多久”更有用。