很多人问蜘蛛池的入口页要铺多少才够用。这个问题没有统一答案，但可以拆成几个能算的变量：你要让蜘蛛发现多少目标 URL、域名本身还剩多少抓取余量、内容多久更新一次、你每周能维护多少页面。把这几个数摆出来，数量区间基本就浮出来了。
入口页解决的是“被发现”，不是“被收录”
入口页做的事情很单一：把蜘蛛引到目标 URL 上，让它进入抓取队列。至于进去之后抓不抓、收不收，取决于目标页本身的质量、重复度和站点整体表现。用入口页的数量去换收录量，期望从一开始就错位了。数量能影响的只有“发现速度”这一条线。
决定数量的四个变量
- 目标 URL 总量：要覆盖 200 个页面和覆盖 20 万个页面，需要的中转规模完全不是一个量级。
- 域名的抓取余量：如果域名本身抓取频次就不高，堆再多入口页也只是把有限的额度摊薄。
- 更新频率：内容基本不动的站点，入口页铺一次可以长期用；天天更新的站点需要持续的发现通道。
- 维护能力：入口页会老化、会失效、会积累死链。没人管的入口页，数量越多越像负担。
一个可以起步的观察区间
与其去找标准答案，不如先跑一个小批量：铺 50 到 100 个入口页，每个入口页挂 3 到 10 条指向目标页的链接，然后观察一到两周的服务器日志，看入口页被命中的分布、回访间隔、以及目标页从上线到第一次被抓的耗时。这组数据才是你自己的基准，之后按比例放大就行。
铺多了会怎样
- 抓取额度被摊薄，单个入口页被回访的间隔明显拉长。
- 模板重复度高时，蜘蛛可能只抓其中一部分就不再深入。
- 日志噪音变大，真正的有效抓取反而不好识别。
- 失效链接、空页面没人清理，整体质量被拖低。
- 入口页之间互相争抢同一批抓取配额，边际收益快速下降。
铺少了会怎样
覆盖不足，一部分目标 URL 长期躺在队列之外；发现周期变长，新内容上线后迟迟等不到第一次抓取。这种问题在日志上表现为：入口页命中稳定，但目标页的首次抓取时间一直往后拖。这时候通常是加数量，而不是改模板。
判断数量是否合适的三个观察点
- 命中分布：日志里入口页的抓取是分散在多数页面上，还是集中在少数几个。集中说明其余入口页没有被纳入常规回访。
- 回访间隔：稳定的入口页通常有相对固定的回访节奏。间隔越来越乱、越来越长，多半是数量超出了域名的承载。
- 发现延迟：目标页从发布到首次被抓的时间。如果这个时间在持续缩短就说明覆盖够；如果长期不动，说明入口页还不够或者路径不通。
调整时的顺序
建议先扩后收：先小批量增加入口页，确认抓取覆盖确实变好，再考虑把长期没有命中的页面撤掉或合并。一次只改一个变量，留出至少一周的观察窗口，并记录调整前的基线数据。批量铺开再回头找原因，日志会乱到无从下手。
入口页的数量不是越多越好，而是刚好能覆盖目标，同时每个入口页都还能被稳定回访。
最后提醒一句：数量只是手段之一。入口页的路径是否通畅、内容是否可读、响应是否正常，往往比多铺几百个页面更影响结果。