站点每天都在变：发新文章、改标题、下架旧页面。这三类动作对搜索蜘蛛来说信号强度不一样，放在同一张报表里看，很容易把问题混在一起。比较实用的做法是按变更类型拆开，分别去日志里找对应的记录。
新增 URL：先看有没有被发现
新增页面最常见的问题不是抓得慢，而是根本没被访问过。核对时先确认三件事：
- 内链入口：新页面是否从至少一个已被抓取的列表页或栏目页链出，链接是普通 a 标签而不是 JS 点击事件。
- Sitemap 收录：新 URL 是否出现在 Sitemap 中，且所在分片的 lastmod 有更新。
- 外链或提交入口：是否有其他站点链接，或通过站长平台提供的提交入口推送过。
如果日志里连续多天完全没有该 URL 的访问记录，优先检查内链入口，而不是反复提交。反复提交同一批地址，通常不会改变发现通道本身的状态。
修改 URL：看抓取是否跟上变更
修改通常指正文更新、标题调整、价格变动等。这里要看的是抓取时间是否接近修改时间。可以在日志里筛出该 URL 的访问记录，对比内容最后修改时间：
- 如果抓取时间早于修改时间，说明蜘蛛还没看到新版本，属于正常延迟，可以先观察几天。
- 如果长时间没有再次访问，检查页面是否稳定返回 200、是否有条件请求导致的 304 过多，以及 Sitemap 的 lastmod 是否同步更新。
- 如果抓取频繁但内容一直没变，说明更新信号给得过多，反而占用了其他页面的抓取机会。
删除 URL：重点看失效处理
页面下架后有两种常见做法：返回 404 或 410 并保留一段时间，或者 301 跳转到最相关的替代页面。要避免的是返回 200 的空壳页，蜘蛛会继续把它当作有效内容处理。
- 确认删除页返回的状态码符合预期，跳转地址指向的是相关页面而非首页。
- 检查站内是否还有指向该地址的内链，有则改为新地址或移除。
- 从 Sitemap 中移除，并观察日志里该 URL 的访问是否逐渐减少。
删除不等于立刻从索引消失。状态码、内链和 Sitemap 三者一致，才是清晰的失效信号。
一张按变更类型核对的清单
- 新增：内链入口有、Sitemap 有、日志里能看到首次访问。
- 修改：日志里有再次访问、lastmod 有更新、返回码正常。
- 删除：返回码正确、站内链接已清理、Sitemap 已移除。
这份清单不需要每天做，按周或按月抽样即可。重点不是追求每条 URL 都被立刻抓取，而是让发现通道和状态信号保持一致，减少蜘蛛把时间花在错误地址上的情况。
把变更记录留成可核对的底稿
如果站点有内容管理系统，可以按月导出一份变更清单：URL、动作类型、操作时间、当前状态码。有了这份底稿，再去看抓取日志就有对照物，不用凭印象判断。对个人站或小团队，用表格手动记录发布与删除也能达到类似效果。
需要提醒的是，抓取行为最终由搜索方决定。核对的目标是尽早发现明显的通道问题，比如内链断裂、Sitemap 漏项、状态码异常，而不是控制抓取时间或保证收录结果。