做蜘蛛池时，很多人习惯把所有来访都叫“蜘蛛”，看日志只统计一个总量。但百度蜘蛛、神马、搜狗、360、必应和 Googlebot 的抓取习惯差别不小：有的来得勤，有的愿意跟着跳转走，有的根本不执行脚本。把这几类分开看，入口页的设计和巡检才会更有针对性。
触发方式和抓取节奏不同
入口页被发现的路径，各类蜘蛛并不一致。Googlebot 对 sitemap 和外链的依赖比较明显，抓取节奏相对均匀；百度蜘蛛更看重域名历史与已有页面的抓取频率，新入口页往往要等一轮抓取周期才会被覆盖。神马、搜狗、360 的访问量级通常更小，但偶尔会出现短时集中来访，日志里表现为某一个小时突然多出几百次请求。
这意味着同一批入口页，在不同蜘蛛那里的“生效时间”可能差好几天。用一家的来访情况去判断整个池子是否运转，容易误判。
对跳转和脚本的容忍度不同
入口页上的链接怎么给，会直接影响被跟到的比例：
- 301：主流蜘蛛基本都会跟随，但跳转链越长，被跟到底的概率越低。
- 302：部分蜘蛛会更保守，尤其在临时跳转反复出现时，可能只记录不跟进。
- JS 跳转与前端渲染：只有具备渲染能力的蜘蛛才会执行，且渲染任务通常有排队延迟；纯爬 HTML 的蜘蛛看到的可能只是一个空壳。
- meta refresh：跟随行为不统一，关键路径不建议依赖它。
所以入口页上真正希望被跟的链接，最好直接写成 HTML 里的 a 标签，跳转链控制在一跳以内。
抓取深度与页面偏好
从入口页往下，每多一层目录，被跟到的比例就下降一截。目录页、列表页这类节点密度高的页面，通常更容易被反复抓取；而内容稀疏、链接零散的页面，回访间隔会拉长。
不同蜘蛛对深度的耐受也不同：有的会在同一目录下横向铺开，一次抓很多同层页面；有的更倾向于顺着少数链接往里走。前者适合把入口页做得扁平，后者则更依赖清晰的主干链接。
回访与重抓的信号
回访频率通常和几件事相关：页面是否有更新、响应是否稳定、错误率是否高。长期返回 4xx、5xx 或响应超时的入口页，回访间隔会被拉长；频繁改动主结构、URL 反复变动的页面，也容易触发重新评估。反过来，稳定输出、更新有节奏的入口页，被抓的频率会更规律。
需要注意的是，这条规律对各类蜘蛛都成立，但反应速度不一样。有的蜘蛛一两个周期内就调整，有的要更久才体现出来。
照着自己的日志做应对
- 在访问日志里按 UA 分组统计，不要只看总的蜘蛛请求量。
- 把关键链接做成静态 HTML，减少对脚本和跳转的依赖。
- 按蜘蛛分别看响应时间和错误码，找出是哪一类访问被拖慢。
- 不同蜘蛛的抓取周期不同，观察窗口至少覆盖一到两周，别用一天的波动下结论。
- 入口页结构一旦确定，尽量保持稳定，避免频繁调整 URL 与目录层级。
各类搜索引擎的抓取策略会不定期调整，上面提到的差异只是常见现象，不代表固定规则。真正可靠的判断依据，是自己站点一段时间内的访问日志，而不是别人总结的经验值。