在抓取报告里，「已發現，尚未抓取」是一個容易被誤讀的狀態。它說明蜘蛛已经知道這個 URL 存在，只是還没安排去下载它。知道不等于會抓，更不等于抓不到——多數情况下，它只代表排队。
這個狀態到底在说什么
把抓取流程拆開看，一個 URL 大致會经歷两段：先是發現，再是抓取。
- 發現：蜘蛛從内鏈、Sitemap、外鏈或者歷史记錄里看到了這個地址，把它记進待抓列表。
- 抓取：蜘蛛真的發請求把頁面下载回来。這一步要花時間、占连接、消耗服務器资源。
「已發現，尚未抓取」正好卡在两步之間。地址在名單里，但還没轮到它。名單越長，等的時間越久，這和頁面质量好坏不一定直接相關。
為什么會积压
待抓名單比抓取能力大得多
站点如果在短時間内产出大量新 URL——篩選參數、排序參數、日歷頁、标簽组合——名單會迅速膨胀。蜘蛛每天能抓的數量有限，多出来的部分只能往後排。
一部分 URL 本身不值得抓
低價值地址不只是浪費自己的机會，還會占住排队位置。内容重复的列表頁、只差一個參數的结果頁、空标簽頁，都會拉長真正重要頁面的等待時間。
單次抓取耗时被拉長
响應慢、首字节時間長、频繁超时，都會让蜘蛛在一次抓取上耗掉更多時間。同样的抓取窗口里，能完成的請求數就變少了，积压自然更明顯。
先减负，再谈催抓
看到积压就想办法让蜘蛛「快点来」，往往效果有限。更稳的顺序是先把名單压小，再推動重点地址。
- 列出积压里的地址類型，按參數頁、分頁、标簽頁、篩選頁分類，看哪一類占比最大。
- 砍掉不该被抓的地址：能用 robots.txt 屏蔽的批量參數路径先屏蔽，能合並的重复列表合並，能從内鏈里撤掉的低價值入口撤掉。
- 收拢内鏈，让重要頁面從首頁出發的点击层級更浅，减少蜘蛛在無關頁面之間来回走。
- Sitemap 只放你确實希望被抓的地址，不要把所有生成的 URL 一股脑塞進去。
- 改善响應速度，尤其是服務器稳定性和高峰期表現。
- 做完以上再看积压變化，给至少几周時間，別当天看当天判断。
那些看着像催抓、其實没用的操作
- 反复提交 Sitemap：提交只是告诉蜘蛛地址存在，不能改變排队顺序。
- 批量修改 lastmod：時間戳和實际内容對不上，只會削弱這個信号的可信度。
- 到處發外鏈指向同一個地址：發現路径已经够了，再多也只是重复「發現」。
- 短時間内大量新建頁面：在积压没缓解前，這等于繼續往名單里加人。
抓取是有限资源的分發問题。让蜘蛛少走一趟弯路，通常比让它多来一趟更有效。
怎么判断减负有没有效果
把服務器日誌按時間段切片，比較减负前後蜘蛛請求的總量、落在重点目錄上的比例，以及「已發現，尚未抓取」數量的走向。如果總請求没涨，但重点頁面的被抓次數上升了，說明路由在往好的方向走。反過来，如果總請求涨了、重点頁面却没變化，多半是低價值地址又多了。
這個狀態更像体检指标，而不是故障报警。它提示的是分發效率，而不是某個頁面出了問题。處理它，從名單里减東西比從外面加推力更實际。