同一批新页面上线，有的几小时内就被抓取，有的要等上一两周。差别往往不在外部手段，而在于 URL 是通过哪条通道进入抓取队列，以及进入队列时页面是否可正常访问。把“发现”和“抓取”分开看，排查思路会清晰很多。
一、发现阶段：URL 是怎么被知道的
搜索引擎需要一个入口才能知道新 URL 存在。常见通道有几类，作用并不相同。
1. 站内链接的位置
- 首页或频道页的导航链接：所在页面抓取频次通常较高，重新抓取时就有机会带走新链接。
- 正文中的上下文链接：位置靠近内容主体，但效果取决于上游页面本身多久被访问一次。
- 页脚、侧栏的全站链接：覆盖广，但分到每个链接的注意相对分散。
- 列表页、分页、标签页：适合批量放量，但链接数量过大反而会稀释效果。
同一个 URL 被多个位置链接，一般比只有一处链接更容易被尽快发现；不过链接所在页面的抓取频次，往往比链接数量本身更关键。
2. Sitemap 与其他提交方式
Sitemap 的作用是告诉搜索引擎“这些 URL 存在”，它属于补充通道，不替代内链。新页面加入 Sitemap 后，可以先看该文件的抓取记录，再对比页面自身的抓取记录，用来判断是“没被发现”还是“发现后没抓”。
3. 外链、社交分享与推送接口
这些通道能带来额外的发现机会，但效果不稳定，也不完全可控。可以作为补充，不建议当作主要依赖。
二、抓取阶段：被发现之后能不能抓下来
URL 进入队列后，什么时候真正被抓取，通常受几个因素影响：
- 页面可访问性：状态码是否正常、是否返回空壳内容、是否依赖脚本渲染。
- 服务器响应：响应时间偏长、偶发超时，会降低抓取效率，严重时可能让整体抓取节奏放缓。
- 抓取预算：站点被抓取的总量有限，低价值 URL 越多，新页面等待时间可能越长。
- 重复与变体：同一内容的多个 URL 变体会占用抓取次数。
三、用服务器日志还原一条时间线
- 准备该 URL 从上线起的访问日志，筛出蜘蛛的请求记录。
- 确认首次抓取时间，以及前后是否出现过 5xx、超时或限速响应。
- 查看上游页面（首页、栏目页）在同一天的抓取记录，判断新链接是否被带走。
- 对比 Sitemap 文件的抓取时间与页面抓取时间，区分两条通道各自的表现。
- 记录“上线到首次抓取”“首次抓取到重新抓取”两个间隔，作为后续改动的对照基准。
四、常见误判
看到 Sitemap 被抓，就认为页面已进入队列；看到页面被抓一次，就认为已被正常收录；看到抓取延迟，就直接归因于权重不足。这些推断都缺少日志支撑。
五、可以固定下来的核对习惯
- 新页面发布时，同时确认入口链接已经上线，而不是只做提交就结束。
- 重要页面尽量放在点击层级较浅的位置，避免只能从深层列表进入。
- 定期检查服务器响应时间和 5xx 比例，保证抓取时页面可用。
- 整理低价值 URL，减少对抓取次数的占用。
- 把上线时间、首次抓取时间、状态码记录在表格里，按周对比。
抓取时间线没有统一标准，但站点自身的历史数据是可以积累的。把每一项改动对应到日志变化上，比凭感觉猜测更有参考价值。