新页面发布后，很多站长第一反应是去提交接口推送一遍，然后盯着日志等。实际上，蜘蛛发现一个 URL 的主要途径仍然是链接。提交只是把 URL 放进候选队列，而链接决定了它有多大概率在短时间内被抓到、被抓几次。
把这两件事分开看：发现解决的是“知不知道该抓”，入口强度解决的是“值不值得马上抓”。新页面通常两者都弱，所以需要人为铺入口。
常见的入口铺设位置
- 首页的“最新/推荐”区块，位置越靠上、条数越少，单条链接的信号越集中；
- 栏目列表页的第一页，注意分页后的第二页抓取频率往往骤降；
- 相关阅读、上一篇/下一篇这类正文内链接；
- 站内搜索或标签聚合页，但这类页面本身可能不被抓，效果不稳定；
- Sitemap 与 RSS/Feed 文件，属于补充通道，不替代内链。
入口不是越多越好。同一批新页面如果一次性在首页铺出几十条，容易出现两种结果：要么整体抓取被摊薄，要么被抓后很快停止回访。分批放、每批控制在栏目页一屏以内，更便于观察效果。
首次抓取的观察方法
在日志里按 URL 过滤，记录以下几个字段就够了：
- 第一次出现的时间，与发布时间相减，得到首次发现耗时；
- 首次请求返回的状态码，200 之外的情况都要单独看；
- 首次抓取携带的 Referer，能看出蜘蛛是从哪个入口找过来的；
- 发布后 24 小时、72 小时、7 天内的抓取次数，判断它是“看一眼”还是“持续回访”。
如果 Referer 集中在 Sitemap 这一条上，说明内链几乎没有起作用，需要回头检查入口是否被前端渲染拿走、是否被 nofollow、是否藏在折叠区域里。
容易被忽略的几个偏差
- 入口页自身很久没被抓，新链接自然不会被顺带发现；
- 入口页体积过大或首屏链接过密，靠后的链接容易被截断；
- 新页面在导航里挂上了，但导航被缓存，蜘蛛拿到的是旧版本；
- 同一批页面互相之间没有任何内链，形成孤岛。
把“提交”当保险，把“内链”当主路。提交能加速排队，但只有链接能让蜘蛛知道这个页面在站点结构里的位置。
一套可复用的检查顺序
- 发布前确认页面可直接访问，返回 200，且不被 robots 或 meta 标签屏蔽；
- 发布后立刻在栏目页第一页挂上入口，位置尽量靠前；
- 正文内指向新页面的链接使用可读的锚文本，避免“点击这里”；
- 确认 Sitemap 已更新且能被正常访问；
- 24 小时后按上面的字段做一次日志核对，未被抓取的页面优先补内链，而不是重复提交。
这套流程的价值，在于把“抓没抓”变成可解释的现象。抓取慢通常不是某一次提交没生效，而是入口强度、入口页被抓频率、页面本身可访问性这三件事里有一件没跟上。