入口頁一次性挂上几百上千個目标 URL，是很常见的做法。但不少站長會發現，几天後去看日誌，只有一部分連結被搜尋蜘蛛訪問過，剩下的一直没動静。這通常不是“蜘蛛没来”，而是它在一次抓取里只處理了一部分連結。
抓取预算更像一種額度感，不是官方數字
搜尋引擎没有公開過“一次抓多少連結”的具体數量。實际表現大致受几個因素影响：入口頁所在站点的整体可信度和歷史抓取表現、服務器响應速度、入口頁更新频率，以及上一次抓取时是否顺利。响應越快、报错越少、内容越稳定，蜘蛛愿意在同一個頁面停留並跟進更多連結的可能性就越大。
同一個頁面里，蜘蛛更可能先抓哪些連結
在入口頁内部，連結並不是平均分配的。通常會被優先處理的包括：
- 出現在 HTML 靠前位置、正文区域里的連結；
- 頁面里有上下文、有文字說明，而不是孤立堆在頁脚或侧栏的連結；
- 指向歷史抓取成功率高、返回狀態碼正常的域名；
- 入口頁被反复抓取时，上一轮没處理完、但看起来有變化的連結。
反過来，塞在大量重复導航里、由 JavaScript 後置渲染、指向一批慢速域名的連結，被推後的概率更高。
連結多的时候，剩下的會被漏掉吗
一般是分批次處理，而不是一次性丢弃。這次没抓完，下一次再来时可能從上次的進度繼續，也可能因為頁面结构變化重新判断優先級。所以“当天没看到”不等于“永遠不會看到”。但如果你每次更新都把舊連結清空、頁面结构频繁大改，蜘蛛累积下来的判断就會不断被打断，發現效率反而下降。
想提高發現效率，可以做的几件事
- 控制單頁連結總量，把最想被發現的 URL 放在靠前、有上下文的位置；
- 保證入口頁本身响應快、狀態碼稳定，少出現 5xx 和超时；
- 入口頁保持稳定的更新节奏，不要一天改一次结构；
- 頁面上的連結尽量用正常的 a 标簽，能直接抓到就不要依赖脚本渲染；
- 配合 sitemap 和站内其他頁面一起指向目标 URL，多给一條發現路径；
- 用服務器日誌和搜尋资源平台的 URL 检查工具，確認哪些真的被抓過。
怎么核對實际抓取情况
最直接的办法是拿入口頁的連結清單，去比對服務器日誌里搜尋蜘蛛的訪問记錄。日誌里出現某個 URL，只說明蜘蛛請求過，不等于已经被收錄或進入索引。没有出現的連結，可以先检查它是否在頁面前段、是否被脚本包裹、是否返回了错誤狀態碼，再决定要不要調整位置或換一種呈現方式。
抓取预算、發現速度這些概念，都只能作為優化方向的參考。任何方法都只能提高被發現的概率，不能保證搜尋蜘蛛一定抓取，也不能保證一定被收錄。
把入口頁当作一個正常的、對用戶和蜘蛛都友好的頁面来维護，比追求“一次挂满”的做法更稳。數量堆到极致，反而容易让每一批連結都排在後面。