站点运营里常见的一種困惑是：新頁面明明已经上线，也寫進了 Sitemap，服務器日誌里却迟迟看不到蜘蛛的請求。要回答這個問题，先要区分两個环节——URL 被發現和 URL 被抓取。只有先進入蜘蛛的待抓列表，才有後續排队抓取的可能。
一、蜘蛛通常從哪些入口認识一個新 URL
發現渠道不止一種，不同渠道的时效和覆盖面差別很大，通常也不是單獨起作用。
- 站内連結：最稳定的發現方式。任何一個已被抓取的頁面上新增了指向新 URL 的連結，蜘蛛再次訪問该頁面时就有机會顺带發現它。层級越浅、被訪問越频繁的頁面，带出的新地址越容易被注意到。
- Sitemap：适合批量登记和补齐。它能让蜘蛛知道站点里還有這些地址，但 Sitemap 本身並不保證被抓取，更多起到登记和补充的作用。
- 外部連結：来自其他站点的連結是歷史上最早、也最自然的發現方式。外鏈所在頁面的抓取频率越高，新 URL 被發現的窗口通常越短。
- 主動提交：搜尋引擎提供的提交接口以及類似 IndexNow 的协议，可以缩短發現時間，但仍只是把地址交到了队伍里，不等于收錄。
- 渲染後出現的連結：如果導航或列表是脚本执行後才生成的，蜘蛛需要先执行脚本才能看到這些地址，發現會晚一步，也可能被跳過。
- Feed 與结构化資料：RSS、Atom 以及部分结构化資料中的 URL 字段，有时也會成為發現来源，但覆盖面和稳定性一般不如前几種。
二、被發現之後，還有几道篩選
進入待抓列表只是開始，蜘蛛還會做一轮去重和排队。
- 去重：同一份内容對應多個 URL 时，带跟踪參數、大小寫不同、路径寫法不一致的版本通常會被合並或降權，蜘蛛往往只挑其中一個版本抓取。
- 排队：新 URL 的優先級受入口重要性、内容更新频率、站点评級等因素影响，不會按照提交顺序依次處理。
- 资源竞争：站点的抓取額度有限，抓一個頁面要消耗响應時間、带宽和解析成本，队列里的 URL 會相互竞争。
所以，同一個站点里，從首頁導航能点到的詳情頁，和只能靠 Sitemap 才能找到的地址，被發現的速度往往差出一大截。
三、怎么判断一個 URL 到底有没有被發現
與其反复猜测，不如看證據。
- 服務器日誌：過滤蜘蛛 UA 後，看该路径是否出現過請求。日誌里有請求，說明至少已经被抓取過；完全没有记錄，則可能還停留在發現环节之外。
- 搜尋後台的索引狀態：如果後台顯示為已發現但尚未编入索引，說明發現环节已完成，卡点在抓取或索引判断上。
- 提高入口密度：给新頁面补内鏈，並在被频繁抓取的頁面上暴露入口，通常比反复提交更有效。
四、让發現环节少掉鏈子的几個做法
- 内鏈優先。新頁面發布时，同步在相關的舊頁面加上指向它的連結，避免出現只能靠 Sitemap 才能找到的孤立地址。
- Sitemap 保持准确。只放可索引、正常返回的 URL，及时清理失效地址，避免蜘蛛把時間花在無效條目上。
- 控制 URL 參數。能用静態路径表達的篩選、排序，尽量不要堆积成大量參數组合，减少去重环节的消耗。
- 保證服務器可用。發現的前提是蜘蛛能顺利訪問，長時間超时或大量错誤响應，會让排队中的 URL 被不断延後。
- 別把發現当收錄。提交、Sitemap、外鏈都只是把地址递過去，是否抓取、是否收錄由蜘蛛自己的判断决定。
URL 發現解决的是蜘蛛知不知道，抓取解决的是蜘蛛来不来。两者之間還隔着去重、排队和资源竞争。站点能做的，是把入口做得清晰、地址保持干净、服務维持稳定。