一條 URL 從被看见到被安排抓取
蜘蛛發現 URL 的通道很多：Sitemap、内鏈、外鏈、日誌回看、提交接口。但“發現”不等于“安排抓取”。在抓取队列里，每條 URL 還要经過優先級和可信度判断。這個判断過程可以理解為確認：线索值不值得占用下一次抓取。
連結来源决定初始可信度
来自首頁或栏目頁的内鏈，通常比深层頁面上偶然出現的連結更容易被優先處理。原因不复杂：枢纽頁更新频率高，連結结构稳定，蜘蛛在那里讀到的 URL 不容易是過期线索。
- 来自稳定導航的連結，被反复看到，確認成本低。
- 正文里孤立的連結，如果周围没有相關内容，蜘蛛可能只记錄不马上抓。
- 外鏈来源质量參差，蜘蛛會结合来源頁的抓取频率和更新情况做判断。
内鏈结构给蜘蛛的是一條路径，不是單点
一條 URL 如果只出現一次，蜘蛛缺少交叉驗證。如果同一 URL 在列表頁、詳情頁相關推荐、Sitemap 中都出現，线索一致性高，進入抓取队列的概率也更稳定。
連結的重复出現不是為了堆數量，而是让蜘蛛在不同路径下都能到達同一個地址，减少“這條連結是不是临时出現的”的犹豫。
入口頁面的可用性影响確認速度
蜘蛛確認线索时，會先看入口頁能否正常打開。如果入口頁多次超时或返回错誤，蜘蛛不會無限等待，可能先把這條线索放到更低優先級。
- 服務器响應時間稳定，避免長時間無响應。
- 狀態碼明确，不用 200 返回错誤頁。
- 入口頁有可讀内容，而不是只有加载動画或大量脚本。
- robots 和 meta 規則不冲突，避免蜘蛛刚到達就被要求登出。
服務器稳定性不只是“不宕机”
抓取期間出現短暂 5xx，蜘蛛可能降低對该路径的訪問频率。恢复後，抓取节奏通常逐步回升，但不會立即回到原有水平。站点可以關注日誌里同一路径的连續错誤和响應時間中位數，而不是只看有没有报警。
Sitemap 與内鏈的配合
Sitemap 适合提交完整清單，内鏈适合表達頁面之間的關系。两者配合得好，蜘蛛既能拿到全量线索，也能沿着结构找到重点頁面。
- Sitemap 中的 URL 尽量與内鏈可到達的 URL 一致。
- 重要頁面不要只出現在 Sitemap 里，内鏈也應有入口。
- Sitemap 更新時間與實际上线時間保持接近，避免蜘蛛反复確認不存在的頁面。
發現之後的再確認
蜘蛛抓取一個頁面後，並不會立刻把整站新連結都拉一遍。它會從已抓頁面里提取新 URL，再决定是否加入队列。這個過程是循环的，所以站点结构越清晰，蜘蛛每轮抓取的收获越明确。
站点可以做的准备
與其追問蜘蛛為什么還没抓，不如把發現到確認之間的阻力减少。
- 保持主要入口頁面响應稳定。
- 让重要頁面在两层到三层点击内可達。
- 避免大量參數组合生成相似 URL，减少线索稀释。
- 用 Sitemap 提供完整清單，用内鏈标出重点。
- 观察日誌中的抓取频次和错誤分布，而不是只看收錄數量。
抓取线索的確認是一個持續過程。蜘蛛會结合来源、结构、响應和内容信号做判断。站点能控制的部分，主要是让线索更清晰、路径更稳定、服務器更可预期。