新站上线、老站开出一个新目录，最常见的困惑是：页面明明已经能打开了，抓取日志里却看不到蜘蛛。这个阶段的问题通常不在页面质量，而在 URL 发现——蜘蛛根本不知道这些地址存在。
为什么冷启动期发现最慢
蜘蛛的抓取起点是一批已知的地址。已收录的域名、历史上抓过的目录、站外链接指向的页面，都是它的信息来源。全新域名意味着这个集合几乎是空的，它没有理由主动去猜一个不存在的路径。
所以冷启动的核心不是“优化页面”，而是把地址交到蜘蛛手里，并且让它有路可走。
第一批入口通常来自这几个地方
已有抓取历史的域名
如果新目录挂在已经收录的域名下，可以从首页、导航或抓取频率较高的列表页链过去。这是成本最低的一条通路。
站外真实链接
一条放在其他站点正文里的链接，往往比站内几十条链接更能带来首次抓取。不需要多，几条稳定、内容相关的链接就足够启动。
主动提交
Sitemap、站长平台提供的提交入口，都可以把 URL 直接告知搜索引擎。它们解决的是“知道地址”，并不保证“马上抓取”。
入口页要能继续往下走
蜘蛛进入入口页之后，靠页面里的链接继续扩散。如果入口页只有几段文字、没有任何指向详情页的链接，抓取就到此为止。列表页、分类页、上一篇下一篇这类结构，本质上是在给深层 URL 补路。
- 链接用标准的 a 标签和 href，不要只依赖点击事件
- 入口页本身要被允许抓取，robots 与状态码正常
- 如果链接靠 JS 渲染，确认渲染完成后的 HTML 里能看到它们
新目录挂在老站下时，可以借用现成的通路
老站往往已经有一批被频繁抓取的页面，从这些页面链到新目录，通常比单独给新目录做外链更快见到蜘蛛。做法可以是在相关栏目里加一条入口链接，或者让新页面出现在已有的列表页、聚合页中。要注意的是，这些位置本身是给用户用的，不是为了堆链接，入口过多反而互相稀释。
冷启动期容易踩的坑
- Sitemap 里填了大量尚未发布的地址，返回 404，浪费了首次抓取机会
- 首页和导航没有指向新目录的入口，新页面只能靠外链被发现
- 入口页对蜘蛛响应超时或返回 5xx，蜘蛛来过一次就不再排队
- 把新页面放在 nofollow 区域或需要登录才可见的位置
一个可以照着走的起步节奏
- 先挑出 20 到 50 个真正有价值的页面，作为第一批目标 URL
- 在首页或主导航加一个指向新目录的入口，保证路径连通
- 目录页把这批页面列出来，链接可抓取、可点击
- 把同一批地址写进 Sitemap，保持与线上可访问地址一致
- 观察几天抓取日志，看蜘蛛是否从入口走到了二级、三级页面
用日志验证，而不是凭感觉
抓取日志里能看出两件事：蜘蛛有没有来，以及它走到了哪一层。如果只看到首页被访问、没有更深的记录，说明链接路径没走通；如果连首页都没出现过，问题多半在入口本身——外链、提交，或者 DNS、robots 这类基础环节。
冷启动不是一次动作，而是一段把地址逐步交出去的过程。先把通路修好，再谈节奏。