發現只是第一步
当我們说“蜘蛛發現了這個 URL”，通常只是指它拿到了這個地址，把它记了下来。真正决定這個頁面什么时候被請求的，是後面的排队环节。很多站長把“發現”和“抓取”当成一件事，于是 sitemap 提交之後没看到抓取记錄，就以為提交失敗，其實地址可能已经進了队列，只是還没轮到。
URL 一般從哪些地方進入队列
- 頁面上的可抓取連結：正文内鏈、導航、面包屑、列表頁，這是最常见的来源。
- Sitemap：提交後相当于一次批量地址登记，比較适合老頁面和深层頁面。
- 外部連結：別人站点指向你的連結，蜘蛛在別處抓取时顺手记下。
- 重定向：301 或 302 的目标地址會被当作新的候選 URL。
- 各類订阅源與结构化資料：RSS、Atom，以及部分站点地图扩展。
来源不同，地址進入队列的批次也不同，後續被調度的节奏往往會有差別。
队列里的 URL 會经歷几種狀態
可以粗略理解為：已發現、待抓取、已抓取、暂缓。已發現只是登记；待抓取表示排進了等待列表；抓取之後會根據返回碼、内容质量、是否重复等，决定是保留還是降權處理；暂缓則常见于服務器持續报错、頁面内容高度重复、參數组合近乎無限的情况。
一個 URL 長期停留在“已發現”狀態，往往不是它本身有問题，而是队列前面有更值得先抓的東西，或者整個站点让蜘蛛不太敢提高频率。
排队顺序受什么影响
- 站点整体的抓取表現：响應時間稳定、错誤率低的站点，通常能拿到更宽松的抓取节奏。
- 頁面的重要程度：被内鏈大量指向、层級較浅、更新频繁的頁面，一般更容易排到前面。
- 重复與無效比例：站内大量相似頁面會稀释整個队列的效率。
- 歷史信号：頁面過去的更新频率、被抓取後的表現，會影响下一次調度。
队列积压时常见的样子
如果發現新發布的内容迟迟没有抓取记錄，可以先看几個方向：服務器是否在蜘蛛来訪时返回 5xx 或超时；是否存在參數组合造成的抓取浪費；sitemap 里是否混入了大量 404、被 robots 屏蔽或需要登入的地址；内鏈是否把權重都導向了少數几個頁面。
這些情况叠加起来，效果不是“某個頁面不被抓”，而是整個站点的队列效率下降：新地址排不進去，老地址也反复被浪費。
可以做的几件小事
- 让服務器對蜘蛛的請求保持稳定响應，遇到压力时優先保住返回碼和响應時間。
- sitemap 只放正常返回、可被抓取、内容有獨立價值的地址，及时清理失效項。
- 把重要頁面放在浅层，用正常内鏈串起来，而不是只靠 sitemap 登记。
- 控制參數類頁面和聚合頁的規模，避免制造大量近似地址。
- 用日誌观察抓取分布：哪些目錄被频繁訪問，哪些地址登记後一直没有請求。
別只盯一個 URL
抓取队列是站点級別的资源分配结果，盯着單個地址看，很容易得出片面的结论。更有效的做法是把日誌、sitemap 提交记錄和站内連結结构調整放在一起看，找到那個卡住整條鏈路的环节。