不少站点在 URL 發現這一环做得不错：内鏈通畅、Sitemap 完整、日誌里也能看到搜尋蜘蛛的訪問记錄。但更常见的情况是，被發現的地址遠遠多于被真正走一遍的地址。搜尋蜘蛛在單個站点上愿意消耗的资源是有限的，這份額度怎么分配，直接决定了新内容多久被看到一次。
額度不是按「你有多少 URL」来算的
抓取額度的分配带有一定的自适應特征：站点响應快、頁面稳定、重复内容少，蜘蛛愿意多走一些；反過来，如果服務器经常超时、同一份内容散落在多個地址上，蜘蛛會主動收缩。所以額度並不是一個固定數字，而是站点健康状况的一個结果。
這也意味着，單纯增加 URL 數量不會換来更多抓取。相反，低质量地址越多，留给新地址的份額可能越少。
同一份額度里，至少有三股需求在抢
- 新 URL：第一次進入待抓队列的地址，需要完整抓取一遍才能進入後續流程。
- 更新過的 URL：内容改動、時間戳變化，希望被重新讀取。
- 存量复检：長期没變的頁面也要定期確認是否還能正常訪問。
三股需求共用同一份资源。当站点的地址總量變大时，复检這一块會自然吃掉越来越多份額，新 URL 的等待時間就會被拉長。
排序时通常會被參考的几個信号
- 連結所處的位置：来自首頁或栏目導航的連結，被發現和排队的優先級通常高于深埋在正文里的連結。
- URL 的歷史表現：過去经常有更新的地址，复检频率會更高。
- Sitemap 里的時間信息：如果 lastmod 長期不變或大面积失真，這個信号的價值會下降。
- 站点的整体抓取反馈：响應時間、错誤率、重复地址比例都會影响額度總量。
這些信号没有公開的權重表，能观察到的是趋势：位置越浅、越稳定、越獨特的地址，越容易被優先處理。
實操：把額度往新 URL 上引
- 给新地址一個浅的位置。新發布的頁面尽量從首頁或一級栏目能在两三次跳轉内到達，而不是等它慢慢被深层連結带出来。
- Sitemap 單獨分出新增部分。把所有地址混在一個文件里更新，和把新增地址單獨列出，蜘蛛讀取时的效率並不一样。
- 收敛低價值地址。篩選參數、排序參數、會话 ID、重复的分頁地址，能合並的合並，能挡的挡。少一批地址，就少一批需要复检的负担。
- 保住服務器稳定性。抓取過程中频繁出現 5xx 或長時間超时，額度收缩几乎是必然的，前面几步的優化也會被抵消。
- 不要靠大量内部連結堆叠。同一批新地址被反复連結几十次，通常不會加快多少，反而让頁面结构變乱。
几個容易踩的坑
- 把 noindex 当成节省額度的萬能工具。它影响的是索引，不等于蜘蛛不會来抓。
- 以為提交地址就等于進入抓取队列的前列。提交只解决發現，不解决排序。
- 频繁改動已發布頁面的時間戳，让 lastmod 失去參考意义。
發現是入口，抓取是過程，两者之間隔着一段等待。能做的不是催，而是让等待队列更干净、更有序。
把抓取額度理解成一份需要管理的资源，思路會更清楚：一邊减少不必要地址的消耗，一邊把新地址放到更容易被看到的位置上。具体效果因站点規模、架构和内容更新节奏而异，建议结合服務器日誌观察實际抓取分布，再逐步調整。