很多人在搭入口頁时习惯一次性铺几十上百條目标連結，觉得“連結越多，被發現的机會越大”。實际看一段時間日誌後常常發現：搜尋蜘蛛只抓了最前面几條，後面的連結反复出現在頁面里，却始终没有請求记錄。這通常不是蜘蛛“没看见”，而是抓取预算在起作用。
搜尋蜘蛛不是“看到連結就抓”
搜尋蜘蛛訪問一個頁面时，會把解析到的連結放進待抓队列，但队列里的 URL 並不會等量地被消耗。同一個域名下的抓取總量在單位時間内是有上限的，蜘蛛會在這個上限内做取舍：優先抓取它認為更值得抓的頁面。
所以入口頁上放 10 條連結和放 100 條連結，被實际請求的數量可能並没有差 10 倍。多出来的部分只是躺在队列里排队，排到什么时候，取决于该域名整体的抓取額度。
抓取预算大致由哪些因素决定
- 站点整体表現：歷史抓取成功率、返回错誤的比例、頁面平均响應時間。
- 入口頁自身质量：内容是否稳定、是否有更新、结构是否清晰。
- 服務器承载能力：响應慢或频繁超时，會直接压低單位時間内的抓取量。
- 待抓 URL 總量：同一域名下积压的 URL 越多，分到單條連結上的机會越少。
- 連結出現的位置與形式：正文里的普通超連結，通常比折叠区、脚本輸出的連結更容易被跟進。
一個入口頁放多少條目标連結比較合适
刚上线、還没稳定被抓取的入口頁
建议從少量開始，比如 5～15 條，先確認蜘蛛确實會来、确實會跟進，再逐步增加。這個阶段的目标是建立抓取习惯，而不是一次铺满。
已经被稳定抓取的入口頁
可以适当增加，但也不建议無限堆。当頁面連結超過几百條，且大部分指向同一目标域名时，抓取分配會明顯被稀释。更常见的做法是拆成多個頁面，每頁控制在几十條以内。
連結過多时常见的几種現象
- 日誌里只有入口頁本身的請求，没有任何目标 URL 的請求。
- 每次抓取只覆盖固定的一小段，後面的連結長期不被触達。
- 抓取間隔越拉越長，說明该域名的額度被其他内容占走了。
- 部分連結被抓一次後不再回訪，因為優先級已经下降。
更稳的做法：分批與分层
- 把大批目标 URL 拆成若干组，分布到多個入口頁。
- 入口頁之間做简單分层：列表頁指向若干詳情頁，詳情頁再放出目标連結。
- 每轮新增連結後，隔几天看一次日誌，確認上一批已经被触達，再加下一批。
- 發現某條連結连續多轮都没被請求，先检查它是否可正常訪問、是否被 robots 規則挡住，再考虑換位置或換承载頁面。
抓取预算决定的是“先抓谁、能抓多少”，而不是“能不能收錄”。連結被請求只是流程中的一步，與後續是否進入索引是两件事。
小结
入口頁的價值在于提供持續、稳定的發現路径，而不是比谁的連結多。控制單頁連結數量、保證頁面能正常打開、按节奏分批上线，比一次性堆满連結更容易看到實际效果。