经常有人問，入口頁上放多少條目标連結才合适。這個問题没有统一數字，因為搜尋蜘蛛每次抓取能顺带處理多少連結，取决于入口頁本身的可抓取性、被抓频率，以及目标 URL 所在站点的整体情况。不過可以给出一套判断思路，把數量調到和自己站点的實际抓取能力匹配。
先分清一次抓取和一次發現
搜尋蜘蛛抓到入口頁，只是把頁面里符合條件的連結放進待抓取队列。能否真的去抓這些目标 URL，還要看队列里已经排了多少任務、目标 URL 之前是否抓過、站点對搜尋引擎的响應是否稳定。也就是说，頁面里放了 500 條連結，不等于這 500 條都會在同一天被抓。
影响實际處理量的几個因素
- 入口頁自身的抓取频率：被爬得勤的頁面，單位時間内能带出去的連結自然更多。
- 頁面里連結的形態：普通 a 标簽最省事；需要执行 JavaScript 才能出現的連結，處理成本更高。
- 目标 URL 的歷史：已经抓取過且内容没有變化的 URL，重复出現时優先級通常更低。
- 入口頁的响應速度：响應慢或经常超时，抓取预算會先被消耗在等待上。
- 目标站点的响應情况：目标站经常返回 5xx 或超时，會让蜘蛛降低對相關 URL 的抓取意愿。
數量上的一個務實做法
- 新入口頁先放几十條，而不是一上来就几百上千條，观察日誌里實际被抓的比例。
- 只放你真正想让蜘蛛發現的 URL，不要把導航、版權頁、登入頁這類無關連結混進去。
- 分批次更新，每次新增少量連結，而不是整頁一次性全量替換。
- 舊連結先保留一段時間，確認對應 URL 已经進過抓取队列後再决定是否移除。
- 记錄每次改動日期，方便和日誌里蜘蛛訪問的時間点對齐，判断改動是否带来變化。
怎么判断放多了還是放少了
看日誌里两個指标就够了：入口頁本身被訪問的次數，以及頁面中目标 URL 被單獨抓取的次數。如果入口頁被反复抓取，但目标 URL 几乎没有新增抓取记錄，說明連結要么没被發現，要么被發現後排在队列很靠後的位置。這種情况下，减少無關連結、提高入口頁本身的内容质量，往往比繼續往上加連結更有效。
反過来，如果入口頁本身的抓取频率就很低，即使只放十几條連結也未必處理得完。這时候该先解决的是入口頁為什么不被频繁抓取，而不是纠结連結數量。
連結數量只是變量之一。入口頁的可信度、稳定性、更新节奏，通常比單纯堆連結影响更大。
小结
把入口頁的連結數量理解成一個需要试出来的參數，而不是一個固定答案。先用較小數量開始，用日誌观察實际被抓的比例，再按批次逐步調整。測試期間保持入口頁结构、内容模板和响應時間稳定，這样日誌里的變化才容易归因，否則很难判断是數量起作用，還是別的地方改了。