新站上线后，最先让人焦虑的往往不是排名，而是“蜘蛛到底来没来”。抓取是后面所有环节的前提，但新站没有历史积累、没有外链、没有日志可查，蜘蛛访问频率低、间隔长，是很正常的事。头几周真正要做的不是催，而是把“能被发现、能被抓到、能抓得住”这三件事做扎实。

上线前先确认页面真的可抓

很多新站的问题不在蜘蛛，而在自己：页面用浏览器打开正常，但蜘蛛拿到的和用户看到的不是一回事。上线前逐项过一遍，比上线后反复提交有用得多。

• robots.txt 不要出现全站 Disallow，测试环境遗留的规则最容易带到线上。
• 首页和栏目页在关闭 JavaScript 的情况下，也要能看到正文和至少一部分链接。
• 关键页面直接返回 200，不要用一长串跳转把蜘蛛从 A 送到 B。
• 对蜘蛛的请求不要返回 5xx，也不要长时间挂着一个空白响应。

第一批 URL 从哪里来

新站没有内链网络，也没有外链积累，URL 发现基本靠三条路：首页、Sitemap，以及少量外部链接。首页是最重要的入口，把最核心的五到十个页面放在首页可以点到的位置，比把几百个页面塞进 Sitemap 更实在。Sitemap 只放确定要抓的页面，把尚未完成的、参数化的、内容重复的 URL 排除在外。

内链要一层一层铺开

常见的误区是一次上线几千个页面，然后指望蜘蛛挨个抓完。新站的抓取额度有限，页面铺得太开，蜘蛛容易在低价值页面之间打转，核心页面反而迟迟拿不到抓取机会。更稳的做法是先把核心栏目和详情页连成一个小闭环：首页到栏目页，栏目页到详情页，详情页之间再有少量相关推荐。

链接数量不重要，链接路径要清楚

一个页面有五条来自不同栏目、不同层级的内部链接，比五十条来自同一个位置的链接更有意义。链接来源分散，蜘蛛才更容易判断这个页面在站点里的位置和分量。

服务器稳定比提交次数重要

蜘蛛在决定抓取频率时，会参考站点的整体响应表现。频繁的 5xx、长时间的维护页、无规律的超时，都会让蜘蛛降低对本站的访问节奏，而且这个下调不会在服务器恢复的第二天立刻回到原来的水平。新站本来抓取就少，再被降一次速，恢复期会拉得更长。

新站阶段最不划算的事，就是让蜘蛛第一次来的时候吃了闭门羹。

用日志看进展，而不是靠感觉

每天固定看一次服务器日志，重点只有三件事：

• 蜘蛛请求数量有没有缓慢上升，还是长期停在同一水平；
• 返回的状态码分布是否正常，200 占多数，5xx 和 404 是否在少数；
• 它主要在抓哪些路径，是不是集中在几个页面来回转。

如果发现蜘蛛反复抓的都是一些不重要的页面，说明内链把它的注意力引偏了，这时候调链接结构比继续提交 Sitemap 有效。

几个常踩的坑

• 一天提交好几次 Sitemap，指望这样能加快抓取；
• 用蜘蛛池给新站刷访问，请求量上去了，真实抓取却没变化；
• 上线大量空页面、标签聚合页和带参数的筛选页；
• 内容还没准备好就把 URL 放出去，之后又改标题、改正文。

抓取是一个慢慢累积的过程。新站头几周把路径打通、响应做稳、页面有东西可看，就已经足够了，剩下的交给时间。