把新頁面寫進 Sitemap、從已有頁面挂一個連結、或者用提交入口推一次，都只是把地址递到了搜尋蜘蛛面前。地址被看到，和它被真正抓取，中間還隔着两段队列。等待期里站点能做的事不多，但做错的事却不少。
發現與抓取，是两段不同的队列
搜尋蜘蛛先在大范围里收集地址，這一步通常叫 URL 發現；收集到的地址進入待抓取队列，再按一定节奏安排實际訪問。两段队列的节奏並不一致：發現可能很快，抓取則受站点歷史抓取表現、服務器响應状况、地址本身的重复度等因素影响，時間上很难给出统一预期。
這意味着「提交了却没動静」並不一定是出错。比較務實的做法是先把入口铺到位，然後观察日誌，而不是连續重复提交同一個地址。
等待期里，先確認入口本身没問题
- Sitemap：地址要能被正常訪問，格式正确，且不要把重定向、參數噪声、已经 404 的地址混進去。
- 内鏈：從已有頁面挂一條真實可点的連結，比只在 Sitemap 里列出来更容易被顺着走。連結放在正文或導航区，通常好于藏在深层列表中。
- 入口頁可訪問：頁面返回 200，不要未登入跳轉、不要渲染完成前是空白、不要被 robots 規則挡住。
- 站外入口：一個自然的外部引用能增加被發現的机會，但不必為此批量做外鏈，收益有限且風險更高。
服務器狀態决定抓取會不會被打断
狀態碼要稳定
首次抓取时如果遇到 5xx、连接超时或長時間無响應，蜘蛛通常會在稍後重试，但重试节奏會放缓。频繁的 5xx 是最容易让地址在队列里被往後排的原因之一；相比之下，偶尔一次失敗影响有限。
带宽和並發別卡在临界点
新頁面集中上线时，如果同一時間請求量猛增，頁面响應時間上升，抓取体驗會變差。分批發布、错開高峰，通常比一次性放几百個地址更容易被抓完。
等待期不建议做的几件事
- 反复改 URL：刚提交就換路径，等于把已经發現的结果作废，重新走一遍發現流程。
- 频繁調整頁面主体内容：抓取還没發生，内容已经變了几轮，消耗的是後續重新抓取的机會。
- 连續重复提交：同一個地址短時間内推很多次，一般不會加快抓取节奏。
- 临时加驗證或跳轉：登入墙、驗證碼、强制跳轉都會打断抓取路径。
判断進度最可靠的方式，是看服務器日誌里是否出現對應的抓取记錄，而不是看提交次數。
用日誌判断進展，再决定下一步
在日誌中篩選目标 URL，观察是否已有抓取請求、返回碼是多少、請求来自哪個 UA。如果長期没有請求，可以回头检查入口是否铺對、頁面是否可訪問、站点整体抓取是否異常。若日誌里已经出現抓取且返回 200，剩下的就是等待後續處理，不必再做額外動作。
小结
新 URL 從被發現到被首次抓取，存在一段無法精确控制的等待期。這段時間里能做的，是把入口铺好、让服務器保持稳定响應、避免在地址和内容上反复折腾，然後用日誌確認進展。它不保證结果，但能减少地址長期卡在队列里的可能。