URL 發現的優先級：哪些地址值得優先被搜尋蜘蛛看到

搜尋蜘蛛對每個站点能投入的抓取量是有上限的。当站点的 URL 數量遠遠超過這個上限时，URL 發現就不再是“有没有入口”的問题，而是“排队排多久”的問题。同一個入口寫下的連結，被走過的時間可能相差几天甚至几周。理解這種優先級差异，比單纯增加入口數量更有用。

為什么會有優先級差异

蜘蛛發現一個 URL 之後，並不能立刻抓取。它需要把這個地址放進待抓取队列，等待調度。队列里既有你期待被抓的頁面，也有參數组合生成的頁面、早已下线的地址，以及其他站点留下的歷史记錄。谁先被取走，取决于地址本身的特征和入口给出的信号。

並不是所有地址都值得占用队列位置。篩選參數、排序參數、會话标识组合出来的頁面，往往數量庞大而内容接近；只有空壳结构的聚合頁，抓取後也拿不到有效内容；已经下线的舊地址如果仍被大量内鏈指向，會持續消耗抓取资源。這些入口可以用 robots.txt、nofollow 或者直接撤掉連結来收敛。

蜘蛛不會讀你的主观判断，它讀的是連結所在的位置和數量。首頁和主導航里的連結，通常會被認為比頁脚更重要；正文中自然出現的連結，又比堆在侧邊栏的連結更值得走。一個頁面如果從三個不同栏目都能点到，它進入队列的概率會明顯高于只有一個入口的頁面。

反過来，如果重要頁面的唯一入口藏得很深，需要從首頁点五次才能到達，那么它被發現的時間就會被拖長。這種情况下，把它提到栏目頁或者相關推荐区域，效果往往比在 Sitemap 里多寫一行更直接。

Sitemap 是批量声明地址的地方，但它的作用是“告诉”，不是“命令”。如果 Sitemap 里的 lastmod 全部寫成同一個時間，或者每次生成都刷新一遍，這個字段就失去了參考意义。更實际的做法是只保留真實更新的時間，並把變動不大的老頁面定期清理出去。

想知道哪些入口真的被走過，日誌比猜测可靠。观察日誌里蜘蛛對某個目錄的訪問频率、返回碼分布，以及是否有大量地址只被訪問過一次就再無回訪，能帮你判断目前的入口设計是不是把资源浪費在了低價值地址上。

队列里的地址再多，抓取时服務器响應慢或者频繁返回 5xx，蜘蛛也會主動降低抓取节奏。响應時間稳定、跳轉层級少、不要在小流量时段做長時間的全站维護，這些基础工作做扎實了，前面所有關于入口的安排才有意义。

URL 發現的關键不在于让蜘蛛看到更多地址，而在于让它先看到你真正需要被看到的那些。