聊蜘蛛池的时候，常听到两種完全相反的反馈。一種说“投了没什么反應”，另一種说“抓取量一下就上来了”。多數情况下，差別不在工具本身，而在于投的是新站還是老站。這两類站在搜尋蜘蛛眼里的狀態不同，URL發現要解决的問题也不同，用同一套做法往往事倍功半。
先分清：新站和老站缺的不是同一样東西
新站通常是“搜尋蜘蛛還不知道有這個站”。域名没有歷史、外鏈少、入口頁本身也没被抓過，搜尋蜘蛛连来都不来，自然谈不上抓具体頁面。老站則相反，搜尋蜘蛛認识你，甚至每天都在抓，問题是抓取预算被大量低價值頁面占着，你想让它抓的新URL排在队尾。
一個缺“發現”，一個缺“配額”。把這两件事混在一起，就會出現新站猛投入口頁但没人来、老站猛投新URL却被舊頁面挤掉的情况。
新站做投放：重点是让搜尋蜘蛛先認识入口
入口頁怎么選
- 優先用已经被抓過、或者本身有少量外鏈的頁面做入口，比清一色的全新域名更容易被跟上。
- 入口頁數量不用堆太多，先跑通一小批，確認搜尋蜘蛛真的来了，再考虑扩大。
- 入口頁本身能正常打開、返回 200、内容不是空壳，這几点比連結數量重要。
投放节奏
新站的抓取量通常是從很小的數字起步的，前几天只有几十次訪問是常见情况。這时候急着加量意义不大，因為限制不在入口頁數量，而在站点信任度。更實际的做法是保持稳定节奏，同时把站点本身该做的补上：能正常訪問、结构清晰、有基本的 sitemap。
观察什么
新站阶段看“有没有来”比看“抓了多少”更有用。日誌里出現搜尋蜘蛛的 UA、開始出現對首頁和入口頁的訪問，就是正向信号。至于目标URL什么时候被收錄，取决于頁面质量、内容竞争等很多因素，投放只负责把门推開一点。
老站做投放：重点是別让存量頁面吃掉预算
先處理存量
老站常见的坑是：站内积累了大量參數頁、篩選頁、分頁、失效頁，搜尋蜘蛛每天来，但時間都花在這些頁面上。這種情况下再投新的URL，效果经常被稀释。投放之前先做一轮清理，往往比直接加投放量更划算：
- 把明确不想要的URL用 robots.txt 或 noindex 挡掉，两者作用不同，別混着用。
- 失效頁面做成 410 或 301，不要留一堆返回 200 的空頁面。
- 把重要頁面的内鏈结构理顺，让搜尋蜘蛛顺着站内路径也能走到，而不是只靠外投。
投放节奏
老站可以承受的投放量通常比新站大，但也不是越多越好。比較稳的做法是按批次投，每批观察抓取日誌和服務器压力，確認没有異常再進下一批。抓取量突然上涨时，先看服務器扛不扛得住，再谈繼續加。
两類站点都适用的几條原則
- 入口頁只负责被發現。它不改變目标頁本身的质量，頁面内容不行，抓到了也未必留得住。
- 投放和站内结构別脱节。搜尋蜘蛛能靠内鏈走到的頁面，通常比只能靠外投發現的頁面更稳。
- 用日誌驗證，不用感觉判断。有没有来、来了抓什么、抓了多少，日誌里都有答案。
- 別把投放当成一次性動作。URL發現是持續過程，尤其是内容不断更新的站点。
一個常见的誤区是：新站照搬老站的大投放量，老站照搬新站的“先等一等”。两邊的瓶颈不同，做法自然要分開。
简單對照一下
新站：入口頁质量優先于入口頁數量，节奏求稳，重点观察“有没有来”。老站：先清理存量再加投放，分批次推進，重点观察抓取分配和服務器压力。共同点是，把站内可訪問性和结构做好，让搜尋蜘蛛即使不靠投放也能找到路。
如果投放一段時間没有明顯變化，先按“目标URL能不能訪問、有没有被規則挡住、站点有没有基础信任度”這個顺序查一遍，通常比繼續加量更有效。