新頁面發布後，有人几分钟就看到蜘蛛来訪，有人等了一周日誌里還没有動静。這種差异通常不是單一原因，而是從“URL 被放進哪里”到“服務器如何响應”一连串环节共同作用的结果。把這條鏈路拆開看，更容易定位卡点。
第一關：蜘蛛能不能發現這個 URL
蜘蛛不會凭空知道一個新地址。它需要從某個已知頁面顺着連結走過来，或者從 Sitemap、站外引用等入口拿到线索。
- 内鏈入口：新頁面是否從首頁、栏目頁或相關文章里連結出去。連結位置越靠近主要導航，被發現的机會通常越大。
- Sitemap：把新 URL 放進 Sitemap 並更新 lastmod，能给蜘蛛一個額外线索，但它不保證立即抓取。
- 站外引用：被其他站点連結、社交平台分享，可能让蜘蛛從站外路径發現 URL，但前提是那些頁面本身可被抓取。
- URL 本身：參數過多、大小寫混乱、带會话 ID 的地址，可能被規范化或過滤掉，導致發現延迟。
發現之後：抓取調度不是即时的
蜘蛛發現 URL 後，會把它放進待抓队列。什么时候真正来抓，取决于站点歷史表現、頁面重要性和服務器负载。新站或抓取频率低的站点，等待時間往往更長。
如果站点经常超时、返回 5xx，蜘蛛會主動降低抓取速度，新 URL 的首次抓取也會被推後。反過来，稳定响應的站点更容易保持正常的抓取节奏。
容易被忽略的中間狀態
- URL 已進队列，但蜘蛛先抓了同模板的其他頁面。
- 服務器返回 429，蜘蛛暂时退避。
- robots.txt 或 meta robots 阻止了抓取。
- 重定向鏈太長，蜘蛛在中間跳轉时放弃。
請求到達服務器後：响應决定下一步
蜘蛛發起請求时，服務器需要及时给出明确狀態。常见岔路包括：
- 200：抓取成功，頁面進入後續處理流程。
- 301/302：蜘蛛會跟随跳轉，但跳數過多會消耗抓取配額。
- 404/410：如果新 URL 返回 404，說明發布或路由配置有問题。
- 403/429：可能被防火墙或限流拦截，蜘蛛會降低訪問频率。
- 5xx：服務器错誤，蜘蛛會稍後重试，但频繁出現會影响整体抓取。
首次抓取成功不等于頁面會被收錄。抓取只是把内容拿回去，是否進入索引還要看内容质量、重复度和規范化選擇。
排查时按什么顺序看
與其反复提交 URL，不如先確認鏈路是否通：
- 用抓取日誌或服務器日誌確認蜘蛛是否来過，請求的 URL 和狀態碼是什么。
- 检查新頁面是否有至少一個可抓取的内鏈入口。
- 核對 Sitemap 里的地址與實际 URL 是否一致，是否被 robots 阻止。
- 观察服務器响應時間，排除超时和 5xx 的干扰。
- 如果頁面有多個地址，確認規范化指向是否清晰。
新 URL 的首次抓取速度，本质上是發現路径、抓取調度和服務器响應共同决定的。把這三段分開检查，通常比笼统地等待更有效。