“入口页一页放多少条链接”是问得最多的问题之一。答案不是一个固定数字，而要看这些链接能不能在合理的抓取预算内被搜索蜘蛛发现。与其纠结 50 条还是 200 条，不如先弄清影响发现的几个变量。
为什么没有一个统一的条数上限
搜索蜘蛛对单个页面的处理能力，取决于页面体积、是否需要渲染、服务器响应速度，以及这个域名整体的抓取频次。同一个页面，放在抓取频繁的站点上，和放在一个刚上线、几乎没有抓取记录的域名上，实际被处理的结果会差很多。所以任何“每页最多 X 条”的结论都只能是经验参考，不能当成规则。
真正影响发现的几个因素
- 链接是否出现在初始 HTML 里。需要执行 JavaScript 才出现的链接，发现概率和延迟都会变差。
- 页面体积与链接位置。如果前半部分代码就占满了读取额度，后面的链接可能根本读不到。
- 链接是否重复。同一目标 URL 在一页里出现多次，通常不会提高发现概率，只是浪费篇幅。
- 目标 URL 本身是否可抓取。入口页返回 200，目标地址却是 404、403 或被 robots.txt 挡住的 URL，放再多也没用。
- 入口页的整体规模。入口页少时，每页可以多放一些；入口页很多时，单页应更克制，让抓取更均匀地分散开。
- 域名自身的抓取记录。新域名或抓取频次低的域名，即使链接很多，实际被处理的往往只是其中一部分。
一个可以先用的起步区间
如果要给一个便于起步的参考：纯链接列表型入口页，正文保持简洁，每页先控制在几十条以内，观察一段时间抓取日志后再调整。这个数字的依据不是“搜索引擎的规定”，而是让页面保持小体积、链接集中在初始 HTML 中，方便抓取器一次读完。
入口页数量少、抓取频次稳定时，可以适当增加；如果发现抓取总量没变、只是分散到了更多页面上，说明单页再加链接已经不会带来额外收益，此时更应该回头优化入口页本身的响应速度和可读性。
怎么用日志做实测
- 给每个入口页记录独立的路径或参数，方便在日志里区分。
- 统计一段时间内各入口页被搜索蜘蛛访问的次数与返回状态码。
- 再看这些入口页给出的目标 URL，被访问的比例和时间分布。
- 挑一个入口页增加链接数量，其余保持不变，对比前后目标 URL 的抓取变化。
这样得到的结论，比套用任何数字都更贴合你自己的站点。需要注意的是，抓取存在延迟，观察周期太短容易得出错误结论。
几个常见误区
- 把链接堆到几百上千条，以为“多放总没坏处”，结果只是拉长页面、稀释了重点。
- 只看入口页被访问，不看目标 URL 是否被抓，误判为“链接有效”。
- 所有入口页用同一套链接顺序，导致抓取长期集中在前几条。
- 忽略链接多样性，同一目标 URL 反复出现，白白占用页面空间。
调整链接数量时，最好一次只改一个变量，并留出观察周期；频繁大改会让日志数据失去可比性，也让你无法判断是哪次改动起了作用。
简单说，入口页放多少条链接合适，取决于页面能不能被完整读取、目标 URL 能不能被抓、以及抓取预算够不够分。先小规模验证，再按日志结果逐步放大，是更稳妥的做法。