做蜘蛛池的人常遇到一个反差：把几百条目标 URL 一次性铺到入口页上，日志里却看不到搜索蜘蛛挨个跟进；改成每天只加十几条，抓取反而更稳定。这中间差的不是链接数量本身，而是搜索蜘蛛的抓取预算和 URL 队列的处理方式。
搜索蜘蛛不是看到就马上抓
搜索蜘蛛发现一个 URL 之后，通常先把它放进待抓取队列，再根据站点的抓取配额慢慢消化。配额和站点本身的响应速度、内容更新频率、历史抓取表现都有关系。一个刚起步、内容单薄的入口页，初期配额往往很低，一次能给到的抓取次数有限。
所以入口页上突然多出几百条新链接，并不意味着这几百条都会在短时间被访问。蜘蛛会按自己的优先级挑一部分，剩下的可能排很久，也可能在队列调整中被丢掉。
集中铺完，常见的几种反应
- 入口页被抓了一次，但日志里几乎看不到内链被跟进；
- 只有靠近页面顶部、处在正文区域的少数链接被抓；
- 部分目标 URL 被抓过一次后就长期不再访问，即使内容有更新；
- 入口页本身的抓取频次没有变化，等于新链接没有带来任何增量。
这些现象不一定是入口页写错了，更多是抓取预算和链接数量不匹配造成的。
分批铺，为什么更容易被跟进
分批的核心不是“少”，而是让页面持续有可感知的变化。每次新增少量链接，入口页就有了更新信号，蜘蛛下次来访时面对的是一个变化不大、容易消化的页面，在配额范围内更可能把新增部分走完。同时链接数量少，你也能清楚对照日志，知道哪条被跟了、哪条没被跟，方便复盘是链接写法的问题还是入口页本身的问题。
一个可执行的节奏安排
- 先确认入口页能被正常抓取：状态码正常、robots 没有误挡、响应时间在可接受范围内。
- 单次新增链接控制在你愿意逐条核对的量级，十几条到几十条都可以，重点是能观察。
- 铺完后隔一段固定时间看一次日志，记录实际被抓的链接和对应的入口页。
- 没被跟进的链接，先回到入口页检查写法：是否在正文区域、是否是普通 a 标签、href 是否完整。
- 确认写法没问题再考虑换入口页或调整锚文本，不要用继续堆量的方式掩盖问题。
需要留意的边界
节奏只是变量之一。如果入口页本身长期响应慢、内容高度重复，或者目标站已经出现明显的质量问题，无论怎么调整铺量节奏，跟进情况都不会有实质改善。反过来，如果一个入口页表现稳定，也没必要为了“看起来活跃”频繁改动同一页面，过于频繁的变动有时会让抓取表现变得不稳定。
把铺量节奏当成一个观察工具，而不是一种技巧。它的价值在于让你看清蜘蛛到底跟进了哪些链接，而不是替你解决入口页本身的质量问题。
回到最根本的三件事：入口页可正常抓取、目标 URL 可正常访问、页面的变化能被感知。把这三件事做扎实，再谈节奏，判断才会准确。