站点每天都在變：發新文章、改标题、下架舊頁面。這三類動作對搜尋蜘蛛来说信号强度不一样，放在同一張报表里看，很容易把問题混在一起。比較實用的做法是按變更類型拆開，分別去日誌里找對應的记錄。
新增 URL：先看有没有被發現
新增頁面最常见的問题不是抓得慢，而是根本没被訪問過。核對时先確認三件事：
- 内鏈入口：新頁面是否從至少一個已被抓取的列表頁或栏目頁鏈出，連結是普通 a 标簽而不是 JS 点击事件。
- Sitemap 收錄：新 URL 是否出現在 Sitemap 中，且所在分片的 lastmod 有更新。
- 外鏈或提交入口：是否有其他站点連結，或通過站長平台提供的提交入口推送過。
如果日誌里连續多天完全没有该 URL 的訪問记錄，優先检查内鏈入口，而不是反复提交。反复提交同一批地址，通常不會改變發現通道本身的狀態。
修改 URL：看抓取是否跟上變更
修改通常指正文更新、标题調整、價格變動等。這里要看的是抓取時間是否接近修改時間。可以在日誌里筛出该 URL 的訪問记錄，對比内容最後修改時間：
- 如果抓取時間早于修改時間，說明蜘蛛還没看到新版本，属于正常延迟，可以先观察几天。
- 如果長時間没有再次訪問，检查頁面是否稳定返回 200、是否有條件請求導致的 304 過多，以及 Sitemap 的 lastmod 是否同步更新。
- 如果抓取频繁但内容一直没變，說明更新信号给得過多，反而占用了其他頁面的抓取机會。
刪除 URL：重点看失效處理
頁面下架後有两種常见做法：返回 404 或 410 並保留一段時間，或者 301 跳轉到最相關的替代頁面。要避免的是返回 200 的空壳頁，蜘蛛會繼續把它当作有效内容處理。
- 確認刪除頁返回的狀態碼符合预期，跳轉地址指向的是相關頁面而非首頁。
- 检查站内是否還有指向该地址的内鏈，有則改為新地址或移除。
- 從 Sitemap 中移除，並观察日誌里该 URL 的訪問是否逐渐减少。
刪除不等于立刻從索引消失。狀態碼、内鏈和 Sitemap 三者一致，才是清晰的失效信号。
一張按變更類型核對的清單
- 新增：内鏈入口有、Sitemap 有、日誌里能看到首次訪問。
- 修改：日誌里有再次訪問、lastmod 有更新、返回碼正常。
- 刪除：返回碼正确、站内連結已清理、Sitemap 已移除。
這份清單不需要每天做，按周或按月抽样即可。重点不是追求每條 URL 都被立刻抓取，而是让發現通道和狀態信号保持一致，减少蜘蛛把時間花在错誤地址上的情况。
把變更记錄留成可核對的底稿
如果站点有内容管理系統，可以按月導出一份變更清單：URL、動作類型、操作時間、目前狀態碼。有了這份底稿，再去看抓取日誌就有對照物，不用凭印象判断。對個人站或小团队，用表格手動记錄發布與刪除也能達到類似效果。
需要提醒的是，抓取行為最终由搜尋方决定。核對的目标是尽早發現明顯的通道問题，比如内鏈断裂、Sitemap 漏項、狀態碼異常，而不是控制抓取時間或保證收錄结果。