做站群或蜘蛛池的人经常會遇到一個困惑：入口頁正常、sitemap 也提交了、URL 提交接口也在用，可目标 URL 就是迟迟不见被抓。這时候與其繼續加入口頁，不如先弄清楚一件事——搜尋蜘蛛在同一段時間里能抓多少，是有上限的，几個渠道其實在争同一份配額。
抓取配額不是開關，而是分配問题
搜尋引擎並不會因為你提交了連結就無限增加抓取量。它會根據站点的歷史抓取表現、响應速度、内容更新频率、重复度等，估算一個大致合理的抓取强度。在這個强度内，抓什么、抓多深，是需要排序的。所以入口頁、sitemap、提交接口三管齐下，並不等于抓取量翻三倍，多數情况下只是同一批 URL 被不同渠道重复排队。
三個渠道各自擅長什么
入口頁連結
入口頁的價值在于提供發現路径。蜘蛛沿着連結走，能顺带理解頁面之間的關系，也更容易判断哪些 URL 相對更重要。缺点是入口頁自身如果抓取频率就低，連結再多也传不出去。
sitemap
sitemap 适合批量、结构化的 URL 清單，尤其适合頁面數量大的站点。但它只解决知道有這個地址，不解决愿意優先抓。sitemap 里塞進大量低质頁或參數重复頁，反而會稀释真正重要的那一部分。
URL 提交接口
提交接口适合少量、时效性强的 URL，比如刚發布的内容。它的作用是提示，不是保證。频繁提交同一批地址，或者提交後頁面本身没什么實质内容，提示效果會越来越弱。
同时用的时候，為什么會互相挤
常见的情况是：入口頁里已经有的連結，sitemap 里又列了一遍，提交接口里再推一遍。對蜘蛛来说這就是同一個地址的多個信号，它不會因此加快抓取，反而可能因為重复度過高，降低對這個站点的抓取性價比评價。抓取配額被消耗在已经知道的 URL 上，新 URL 自然排不上队。
一個可用的排查顺序
- 先看日誌。確認蜘蛛到底抓了哪些地址、返回碼是什么、频率如何。没有日誌，後面几步都是猜。
- 再看入口頁的可抓取性。入口頁自己是否被抓、是否返回正常狀態、連結是否是蜘蛛能解析的形式。
- 然後看重复度。把入口頁連結、sitemap、提交记錄放在一起比對，去掉明顯重复的部分。
- 最後才考虑加渠道。如果現有渠道都没被充分消費，加新的渠道只會让情况更混乱。
几個容易踩的誤区
- 以為提交越多抓得越快：提交量超過站点實际质量时，邊际效果會快速下降。
- 把 sitemap 当垃圾桶：把全站參數頁、篩選頁、分頁全部塞進去。
- 入口頁只堆連結、没有内容：這類頁面本身就不容易被稳定抓取。
- 不同渠道指向的 URL 版本不一致，比如带不带 www、带不带结尾斜杠，被当成多個地址。
配額有限的时候，先保證已有的抓取机會没有被浪費，往往比開辟新渠道更有效。
简單说，入口頁、sitemap、提交接口不是三個可以叠加的加速器，而是同一份抓取资源下的三種信号。先把重复清掉、把响應速度稳住、把入口頁本身做扎實，再谈扩展，通常比盲目增加提交量要靠谱。