聊蜘蛛池的时候，常听到两种完全相反的反馈。一种说“投了没什么反应”，另一种说“抓取量一下就上来了”。多数情况下，差别不在工具本身，而在于投的是新站还是老站。这两类站在搜索蜘蛛眼里的状态不同，URL发现要解决的问题也不同，用同一套做法往往事倍功半。
先分清：新站和老站缺的不是同一样东西
新站通常是“搜索蜘蛛还不知道有这个站”。域名没有历史、外链少、入口页本身也没被抓过，搜索蜘蛛连来都不来，自然谈不上抓具体页面。老站则相反，搜索蜘蛛认识你，甚至每天都在抓，问题是抓取预算被大量低价值页面占着，你想让它抓的新URL排在队尾。
一个缺“发现”，一个缺“配额”。把这两件事混在一起，就会出现新站猛投入口页但没人来、老站猛投新URL却被旧页面挤掉的情况。
新站做投放：重点是让搜索蜘蛛先认识入口
入口页怎么选
- 优先用已经被抓过、或者本身有少量外链的页面做入口，比清一色的全新域名更容易被跟上。
- 入口页数量不用堆太多，先跑通一小批，确认搜索蜘蛛真的来了，再考虑扩大。
- 入口页本身能正常打开、返回 200、内容不是空壳，这几点比链接数量重要。
投放节奏
新站的抓取量通常是从很小的数字起步的，前几天只有几十次访问是常见情况。这时候急着加量意义不大，因为限制不在入口页数量，而在站点信任度。更实际的做法是保持稳定节奏，同时把站点本身该做的补上：能正常访问、结构清晰、有基本的 sitemap。
观察什么
新站阶段看“有没有来”比看“抓了多少”更有用。日志里出现搜索蜘蛛的 UA、开始出现对首页和入口页的访问，就是正向信号。至于目标URL什么时候被收录，取决于页面质量、内容竞争等很多因素，投放只负责把门推开一点。
老站做投放：重点是别让存量页面吃掉预算
先处理存量
老站常见的坑是：站内积累了大量参数页、筛选页、分页、失效页，搜索蜘蛛每天来，但时间都花在这些页面上。这种情况下再投新的URL，效果经常被稀释。投放之前先做一轮清理，往往比直接加投放量更划算：
- 把明确不想要的URL用 robots.txt 或 noindex 挡掉，两者作用不同，别混着用。
- 失效页面做成 410 或 301，不要留一堆返回 200 的空页面。
- 把重要页面的内链结构理顺，让搜索蜘蛛顺着站内路径也能走到，而不是只靠外投。
投放节奏
老站可以承受的投放量通常比新站大，但也不是越多越好。比较稳的做法是按批次投，每批观察抓取日志和服务器压力，确认没有异常再进下一批。抓取量突然上涨时，先看服务器扛不扛得住，再谈继续加。
两类站点都适用的几条原则
- 入口页只负责被发现。它不改变目标页本身的质量，页面内容不行，抓到了也未必留得住。
- 投放和站内结构别脱节。搜索蜘蛛能靠内链走到的页面，通常比只能靠外投发现的页面更稳。
- 用日志验证，不用感觉判断。有没有来、来了抓什么、抓了多少，日志里都有答案。
- 别把投放当成一次性动作。URL发现是持续过程，尤其是内容不断更新的站点。
一个常见的误区是：新站照搬老站的大投放量，老站照搬新站的“先等一等”。两边的瓶颈不同，做法自然要分开。
简单对照一下
新站：入口页质量优先于入口页数量，节奏求稳，重点观察“有没有来”。老站：先清理存量再加投放，分批次推进，重点观察抓取分配和服务器压力。共同点是，把站内可访问性和结构做好，让搜索蜘蛛即使不靠投放也能找到路。
如果投放一段时间没有明显变化，先按“目标URL能不能访问、有没有被规则挡住、站点有没有基础信任度”这个顺序查一遍，通常比继续加量更有效。