同一批新頁面上线，有的几小时内就被抓取，有的要等上一两周。差別往往不在外部手段，而在于 URL 是通過哪條通道進入抓取队列，以及進入队列时頁面是否可正常訪問。把“發現”和“抓取”分開看，排查思路會清晰很多。
一、發現阶段：URL 是怎么被知道的
搜尋引擎需要一個入口才能知道新 URL 存在。常见通道有几類，作用並不相同。
1. 站内連結的位置
- 首頁或频道頁的導航連結：所在頁面抓取频次通常較高，重新抓取时就有机會带走新連結。
- 正文中的上下文連結：位置靠近内容主体，但效果取决于上游頁面本身多久被訪問一次。
- 頁脚、侧栏的全站連結：覆盖广，但分到每個連結的注意相對分散。
- 列表頁、分頁、标簽頁：适合批量放量，但連結數量過大反而會稀释效果。
同一個 URL 被多個位置連結，一般比只有一處連結更容易被尽快發現；不過連結所在頁面的抓取频次，往往比連結數量本身更關键。
2. Sitemap 與其他提交方式
Sitemap 的作用是告诉搜尋引擎“這些 URL 存在”，它属于补充通道，不替代内鏈。新頁面加入 Sitemap 後，可以先看该文件的抓取记錄，再對比頁面自身的抓取记錄，用来判断是“没被發現”還是“發現後没抓”。
3. 外鏈、社交分享與推送接口
這些通道能带来額外的發現机會，但效果不稳定，也不完全可控。可以作為补充，不建议当作主要依赖。
二、抓取阶段：被發現之後能不能抓下来
URL 進入队列後，什么时候真正被抓取，通常受几個因素影响：
- 頁面可訪問性：狀態碼是否正常、是否返回空壳内容、是否依赖脚本渲染。
- 服務器响應：响應時間偏長、偶發超时，會降低抓取效率，嚴重时可能让整体抓取节奏放缓。
- 抓取预算：站点被抓取的總量有限，低價值 URL 越多，新頁面等待時間可能越長。
- 重复與變体：同一内容的多個 URL 變体會占用抓取次數。
三、用服務器日誌還原一條時間线
- 准备该 URL 從上线起的訪問日誌，筛出蜘蛛的請求记錄。
- 確認首次抓取時間，以及前後是否出現過 5xx、超时或限速响應。
- 查看上游頁面（首頁、栏目頁）在同一天的抓取记錄，判断新連結是否被带走。
- 對比 Sitemap 文件的抓取時間與頁面抓取時間，区分两條通道各自的表現。
- 记錄“上线到首次抓取”“首次抓取到重新抓取”两個間隔，作為後續改動的對照基准。
四、常见誤判
看到 Sitemap 被抓，就認為頁面已進入队列；看到頁面被抓一次，就認為已被正常收錄；看到抓取延迟，就直接归因于權重不足。這些推断都缺少日誌支撑。
五、可以固定下来的核對习惯
- 新頁面發布时，同时確認入口連結已经上线，而不是只做提交就結束。
- 重要頁面尽量放在点击层級較浅的位置，避免只能從深层列表進入。
- 定期检查服務器响應時間和 5xx 比例，保證抓取时頁面可用。
- 整理低價值 URL，减少對抓取次數的占用。
- 把上线時間、首次抓取時間、狀態碼记錄在表格里，按周對比。
抓取時間线没有统一标准，但站点自身的歷史資料是可以积累的。把每一項改動對應到日誌變化上，比凭感觉猜测更有參考價值。