新站上线后，很多人第一件事是盯着日志看蜘蛛什么时候来。但来了之后抓了哪些 URL，往往比“来没来”更值得看。早期抓取次数有限，蜘蛛把有限的访问花在哪里，直接决定后续哪些页面有机会进入下一步处理。

第一次到访，蜘蛛通常先落在首页

外部链接、站点提交、Sitemap 里的地址，都是蜘蛛拿到 URL 的来源。对刚上线的站点来说，最常见的第一个落脚点还是首页，因为首页最容易被外部引用、也最常被主动提交。蜘蛛拿到首页后会解析 HTML，把可抓取的 a 标签 href 排进队列，再决定先走哪几条。

这意味着：首页放了哪些链接、这些链接指向哪里，基本框定了蜘蛛第一次能看到的范围。如果首页只有导航和几个栏目入口，首轮抓取就会围绕这几条线展开。

首轮抓取决定的是“路径”，不是“收录”

需要提醒的是，被抓取不等于被收录。蜘蛛第一轮更多是在确认真实性：页面能不能正常打开、返回什么状态码、内容是不是模板复制、和站内已有页面差别有多大。这一轮里，服务器响应是否稳定影响很大。

• 返回 200 且正文可解析，页面才可能进入后续处理；
• 返回 5xx 或连接超时，蜘蛛会退避，短期内减少来访；
• 返回 301/302，蜘蛛会跟到目标地址，但新地址的发现速度会慢一步。

新站早期最该留好的三个入口

1. Sitemap

Sitemap 的作用是主动交代有哪些 URL 存在，省去蜘蛛靠链接一层层摸索的过程。新站页面不多时，一个 sitemap.xml 就够；内容量上来后再考虑拆成索引文件。注意里面只放返回 200 的规范地址，别把参数页、已删除页面塞进去。

2. 站内链接结构

首页 → 栏目页 → 内容页，这条链路上每一层都要有真实可点的链接。特别是内容页之间的相关推荐、上一篇下一篇，能帮蜘蛛从一个页面走到另一个页面，而不是每次都退回首页重新出发。

3. 首页上的栏目入口

新站栏目往往不多，但容易犯的错误是把栏目入口放进 JS 渲染的菜单里。如果链接只在脚本执行后才出现，蜘蛛首轮很可能看不到，抓取范围就只剩首页。

服务器稳定性怎么影响早期抓取

蜘蛛的抓取频率会根据站点表现调整。早期访问量小、历史数据少，它对不稳定信号更敏感。同一 IP 频繁超时、响应时间忽长忽短、偶发 5xx，都可能让来访间隔被拉长。与其急着铺内容量，不如先确认三件事：

• 首页首字节时间是否稳定，有没有明显波动；
• 日志里是否反复出现 500、502、503；
• robots.txt 是否能正常访问，有没有误屏蔽目录。

上线头两周可以这样检查

1. 提交首页与 Sitemap，确认返回状态正常；
2. 用日志筛出蜘蛛 UA，看它请求了哪些 URL、返回码分布如何；
3. 检查被抓取的页面里，是否存在无意义的参数地址或重复入口；
4. 确认内链没有断链，锚文本能大致说明目标页内容；
5. 观察抓取频次变化，出现明显下降时先查服务器，而不是急着改标题。

抓取是发现的前提，但发现之后能不能进入索引，还取决于内容本身与站点整体质量。少做一些指望“抓了就收录”的动作，多保证入口清晰、服务稳定，收益更实在。