做蜘蛛池的时候，很多人把注意力放在入口页的模板、内容和链接结构上，却忽略了一个更底层的问题：这些入口页散布在多少个域名、多少个 IP 段、多少个 DNS 服务商下。页面本身没问题，但资源过于集中，蜘蛛来几趟之后可能就不怎么来了。这篇聊的是资源分散的思路和实际做法，不涉及任何保证收录的操作。
为什么资源分散会影响抓取
搜索引擎在调度抓取时，不只看单个页面，也会看站点和 IP 层面的整体情况。如果一个 IP 段下短时间内出现大量结构相似的页面，或者一批域名共用同一个 DNS、同一个注册商、同一批注册邮箱，这些关联在外部是可以被观察到的。它们本身不是判定依据，但会让爬虫在分配抓取资源时更谨慎，入口页被访问的频次和深度都会受影响。
换句话说，分散不是为了骗过谁，而是让入口页看起来像一批各自独立存在的站点，而不是同一台机器批量生成的产物。
域名层面怎么分散
注册商与注册信息
同一批域名全部来自同一个注册商、集中在同一天注册、共用同一个注册邮箱和电话，是比较明显的集中特征。实际操作中，可以在几家常用注册商之间分配，注册时间拉开梯度，whois 信息按域名归属填写。如果用了隐私保护，也尽量保持不同域名之间的填写方式一致，而不是一会儿这样一会儿那样。
DNS 服务商
所有域名都解析到同一组 NS，同样会形成关联。可以把域名分到两三家 DNS 服务商，或者同一服务商的不同账号下。这不影响解析速度，但能让 NS 记录层面不那么整齐。
后缀与注册时间
后缀不必刻意追求越杂越好，用常见后缀即可，重点是别让所有域名都落在同一后缀、同一时间窗口里。
IP 层面怎么分散
不要都挤在一个 C 段
同一个 C 段（/24）下放几十个站点，很容易被归为一类。资源允许的话，把入口页域名分布到多个 C 段，必要时跨机房、跨服务商。规模小的时候，至少不要让全部域名挤在两三个 C 段里。
ASN 与机房
比 C 段更粗的维度是 ASN。如果所有 IP 都属于同一家云厂商的同一个自治域，集中度依然很高。有条件的话，混用不同机房或不同服务商的机器，比单纯换几个 IP 更有效。
IP 的历史
新买的 IP 未必干净。入手前查一下这个 IP 段此前是否被大量站点使用过，如果历史记录很差，换一个通常比继续用更省事。
常见误区
- 以为换了 IP 就等于分散。同一个 C 段里换几个相邻 IP，等于没换。
- 只分散域名不分散 IP。域名再多，都解析到同一台机器上，集中度没有变化。
- 为了分散而堆数量。入口页本身质量差，分散得再好也不会有蜘蛛持续访问。
- 忽略服务器层面的特征。同一套面板、同样的响应头、同样的默认错误页，也会形成关联。
一些实际建议
- 先确定入口页规模，再按规模倒推需要多少个 C 段和域名，不要反过来。
- 域名注册商、注册时间、DNS 至少有两个维度是分开的。
- IP 尽量跨 C 段，规模上来后再考虑跨 ASN。
- 服务器配置和响应头不要完全一致，删掉多余的特征字段。
- 分散只是降低集中度，入口页能不能被持续抓取，最终还是看页面本身有没有更新、有没有可抓的价值。
资源分散解决的是看起来像不像一批独立站点的问题，解决不了内容层面的问题。把它当成基础工作，而不是效果来源。
如果你的蜘蛛池目前只在一台机器、一个 C 段上跑，先把资源结构理一遍，往往比继续加页面更值得做。