入口站是蜘蛛进入蜘蛛池的第一道门。很多人搭好入口页之后会顺手给域名套一层 CDN，理由通常是加速、防打、隐藏源站。但对蜘蛛池来说，CDN 改变的不只是速度，它还会影响蜘蛛解析到的 IP、拿到的响应头，以及它到底抓的是源站还是缓存副本。这几点没想清楚，入口页在蜘蛛那边可能和你在浏览器里看到的完全是两回事。
一、CDN 之后，蜘蛛解析到的 IP 不再是你的源站 IP
最简单的判断方式：本地 dig 一下入口域名，如果返回的是一组 CDN 厂商的地址，那蜘蛛做 DNS 解析时拿到的也是这一组，而不是你服务器的真实 IP。这本身不是坏事，但会带来两个连锁反应。
- 你之前在日志里看到的蜘蛛来访记录，会先落在 CDN 节点上。源站日志里能不能看到蜘蛛，取决于 CDN 是否回源、回源时是否透传真实 UA 与客户端 IP。
- 如果 CDN 开启了某些安全策略，把不带浏览器特征的请求挡在边缘，蜘蛛可能连源站都没碰到就被拦下，日志里干干净净，你会误判成“蜘蛛不来”。
所以上 CDN 之后第一件事，是确认边缘节点对搜索引擎 UA 是放行的，并且回源请求带着可识别的标识，否则后面所有关于抓取节奏的判断都会失真。
二、缓存副本：蜘蛛抓到的可能不是当前版本
入口页如果被 CDN 缓存，蜘蛛拿到的是缓存节点上的副本。对内容长期不动的入口页，这没什么问题；但对那种频繁调整链接、替换目标站的入口页，就会出现“你自己看已经改了，蜘蛛抓到的还是老版本”的情况。
常见的表现是：你在后台更新了入口页的链接指向，几天后蜘蛛行为没有变化，因为它抓的还是缓存里的旧 HTML。要避免这种情况，入口页这类需要及时生效的页面，缓存时间要么设得很短，要么在更新后主动刷新缓存。
三、回源比例与抓取效率
CDN 的命中率越高，回源越少，源站压力越小。但蜘蛛抓取和普通用户访问不太一样：它可能集中在某个时段大量请求同一批 URL。如果缓存命中率低，这些请求会一起打到源站，反而比不套 CDN 时更集中。
另一个容易被忽略的点是响应头。源站直连时，你返回的状态码、缓存控制、内容类型都比较直观；经过 CDN 之后，部分头信息可能被改写或补充。如果入口页依赖某些响应头做判断，建议上 CDN 前后各抓一次完整响应，对比一遍。
四、哪些情况适合给入口站上 CDN
- 入口站数量多、分布在多个域名上，源站带宽有限，需要把流量摊到边缘。
- 入口页内容相对稳定，缓存时间可以设得较长，命中率高。
- 源站 IP 不想暴露，或者需要一定的抗压能力。
五、哪些情况不建议上
- 入口页需要频繁调整链接和指向，缓存刷新不及时会拖慢生效速度。
- 你需要靠源站日志精确分析蜘蛛来访时段和抓取路径，而 CDN 日志不完整或没有回源明细。
- CDN 默认策略比较激进，容易误伤非浏览器特征的请求。
六、上线前后可以自己做的几项检查
- 解析对比：分别用本地和第三方工具解析入口域名，记录返回的 IP 段。
- 响应头对比：上 CDN 前后各抓一次响应头，重点看状态码、缓存控制和内容类型是否被改动。
- UA 放行测试：模拟搜索引擎 UA 请求入口页，确认返回的是正常页面而不是验证页或拦截页。
- 缓存验证：更新入口页内容后，观察抓到的版本多久发生变化。
- 日志核对：确认源站或 CDN 日志里能看到带真实 UA 的来访记录。
CDN 本身只是链路中的一环，它不决定蜘蛛来不来，但会改变蜘蛛看到什么。判断标准很简单：你在浏览器里看到的入口页，和蜘蛛抓到的入口页，是不是同一份东西。
如果你的入口站规模不大、日志分析需求又比较强，直连源站反而更省事；如果入口站数量多、需要分摊压力，那就在上线 CDN 之前把 UA 放行、缓存策略和日志透传这三件事确认好，再去看蜘蛛的行为数据，结论才靠得住。