做蜘蛛池的时候，很多人把注意力放在入口頁的模板、内容和連結结构上，却忽略了一個更底层的問题：這些入口頁散布在多少個域名、多少個 IP 段、多少個 DNS 服務商下。頁面本身没問题，但资源過于集中，蜘蛛来几趟之後可能就不怎么来了。這篇聊的是资源分散的思路和實际做法，不涉及任何保證收錄的操作。
為什么资源分散會影响抓取
搜尋引擎在調度抓取时，不只看單個頁面，也會看站点和 IP 层面的整体情况。如果一個 IP 段下短時間内出現大量结构相似的頁面，或者一批域名共用同一個 DNS、同一個註冊商、同一批註冊信箱，這些關联在外部是可以被观察到的。它們本身不是判定依據，但會让爬虫在分配抓取资源时更谨慎，入口頁被訪問的频次和深度都會受影响。
換句话说，分散不是為了骗過谁，而是让入口頁看起来像一批各自獨立存在的站点，而不是同一台机器批量生成的产物。
域名层面怎么分散
註冊商與註冊信息
同一批域名全部来自同一個註冊商、集中在同一天註冊、共用同一個註冊信箱和电话，是比較明顯的集中特征。實际操作中，可以在几家常用註冊商之間分配，註冊時間拉開梯度，whois 信息按域名归属填寫。如果用了隐私保護，也尽量保持不同域名之間的填寫方式一致，而不是一會儿這样一會儿那样。
DNS 服務商
所有域名都解析到同一组 NS，同样會形成關联。可以把域名分到两三家 DNS 服務商，或者同一服務商的不同帳號下。這不影响解析速度，但能让 NS 记錄层面不那么整齐。
後缀與註冊時間
後缀不必刻意追求越杂越好，用常见後缀即可，重点是別让所有域名都落在同一後缀、同一時間窗口里。
IP 层面怎么分散
不要都挤在一個 C 段
同一個 C 段（/24）下放几十個站点，很容易被归為一類。资源允许的话，把入口頁域名分布到多個 C 段，必要时跨机房、跨服務商。規模小的时候，至少不要让全部域名挤在两三個 C 段里。
ASN 與机房
比 C 段更粗的维度是 ASN。如果所有 IP 都属于同一家云厂商的同一個自治域，集中度依然很高。有條件的话，混用不同机房或不同服務商的机器，比單纯換几個 IP 更有效。
IP 的歷史
新買的 IP 未必干净。入手前查一下這個 IP 段此前是否被大量站点使用過，如果歷史记錄很差，換一個通常比繼續用更省事。
常见誤区
- 以為換了 IP 就等于分散。同一個 C 段里換几個相邻 IP，等于没換。
- 只分散域名不分散 IP。域名再多，都解析到同一台机器上，集中度没有變化。
- 為了分散而堆數量。入口頁本身质量差，分散得再好也不會有蜘蛛持續訪問。
- 忽略服務器层面的特征。同一套面板、同样的响應头、同样的預設错誤頁，也會形成關联。
一些實际建议
- 先确定入口頁規模，再按規模倒推需要多少個 C 段和域名，不要反過来。
- 域名註冊商、註冊時間、DNS 至少有两個维度是分開的。
- IP 尽量跨 C 段，規模上来後再考虑跨 ASN。
- 服務器配置和响應头不要完全一致，删掉多余的特征字段。
- 分散只是降低集中度，入口頁能不能被持續抓取，最终還是看頁面本身有没有更新、有没有可抓的價值。
资源分散解决的是看起来像不像一批獨立站点的問题，解决不了内容层面的問题。把它当成基础工作，而不是效果来源。
如果你的蜘蛛池目前只在一台机器、一個 C 段上跑，先把资源结构理一遍，往往比繼續加頁面更值得做。