搜尋蜘蛛到訪並不等于頁面會被收錄，但抓取這一步完不成，收錄就無從谈起。有些頁面長期停在“已發現”狀態，抓取错誤报告里堆着一排记錄，問题往往不在内容本身，而在服務器给蜘蛛的响應上。
先分清：抓取失敗和收錄延迟是两個阶段
被抓取是前提，能不能進索引還要看頁面质量和重复程度。但如果蜘蛛反复来、反复失敗，頁面會一直排在抓取队列里，既不會進索引，也不會被別人顶上来。所以看到收錄數量長期不動，第一步應该先看抓取侧的資料，而不是急着改正文。
三個地方能看出抓取出了問题
- 服務器日誌：統計搜尋蜘蛛的請求里狀態碼怎么分布。5xx、超时、连接被重置的比例偏高，說明問题在服務端。
- 抓取統計與抓取错誤报告：能看到抓取總次數、平均响應時間，以及按错誤類型分组的 URL 列表。
- 索引覆盖情况：某個栏目下的 URL 長期停在“已發現，尚未抓取”，通常意味着抓取額度被消耗在了別處。
响應慢和超时，常见的四種来源
1. 首字节時間過長
資料库慢查询、缺少缓存、接口串行調用，都會让單個請求的响應時間從几百毫秒涨到几秒。蜘蛛單次抓取有時間上限，超過就會中断，日誌里可能只留下一個不完整的狀態。
2. 頁面和资源太重
正文只有一两千字，頁面却要加载几十個脚本、字体和图片。蜘蛛主要讀 HTML，但下载体积和並發连接依然會拖慢整体节奏，抓取效率随之下降。
3. 5xx、限流與防護誤伤
爬虫被 WAF、频率限制或 CDN 規則当成異常流量拦下，會返回 403、429 或者空响應。這類错誤在日誌里往往集中在某個時間段，和站点自身的訪問高峰重合。
4. 重定向鏈叠加
一個 URL 经過两三次跳轉才到最终頁面，每次跳轉都要重新建立连接。鏈條越長，超时概率越高，收錄也容易落在中間的地址上。
可以照着走的排查顺序
- 從日誌里筛出搜尋蜘蛛的請求，按响應時間排序，看最慢的是哪一批 URL。
- 把 5xx、429、403 的 URL 單獨拉一份清單，判断是全局問题還是集中在某個目錄。
- 抽样测几個 URL 的响應時間和狀態碼，尽量從不同網絡环境测，排除單点故障。
- 检查防護規則有没有誤伤搜尋蜘蛛的 UA 或 IP 段，必要时加白名單。
- 確認重要頁面到首頁的点击距离不要太深，减少無意义的重定向和參數跳轉。
- 改完之後再观察一段時間的抓取統計，看响應時間和抓取量是否回升。
抓取恢复之後，索引更新還會滞後一段時間。這段時間里最好不要再動 URL 结构和站内規則，否則前後變化叠在一起，很难判断哪一步起了作用。
抓取顺了，收錄才轮到内容問题
抓取恢复正常，只是把 URL 送進了下一步。之後是否進索引，仍然取决于内容是否重复、是否有獨立價值、是否被正确的地址指向。把顺序理顺，排查會省力很多。