在抓取报告里，“已發現但未编入索引”是一個很容易被誤讀的狀態。它並不代表 URL 有問题，也不代表搜尋蜘蛛拒绝了這個地址，多數情况下只是說明：連結被看到了，但抓取任務還没轮到它。對做蜘蛛池入口頁的人来说，這個狀態比“抓取失敗”更常见，也更需要耐心。
先把两種狀態分清楚
不少站長把這两個狀態混為一谈，结果排查方向完全跑偏：
- 已發現，尚未编入索引：搜尋蜘蛛通過某個連結知道了這個 URL 存在，但還没有真正請求過它。此时服務器日誌里通常看不到這條 URL 的抓取记錄。
- 已抓取，尚未编入索引：搜尋蜘蛛已经請求過頁面，拿到了内容，但经過评估後没有放進索引。這时日誌里能看到明确的抓取痕迹，問题一般出在内容本身。
判断属于哪一種，最简單的方法是對照服務器日誌：日誌里没有该 URL 的請求，就是第一種；有請求但抓取後没有後續，就是第二種。
入口頁這邊先確認三件事
- 連結是否稳定可訪問。入口頁里的目标連結如果经常變動、时有时無，搜尋蜘蛛每次来拿到的都是不同结果，URL 的發現记錄就容易停留在“已發現”。
- 入口頁本身能否被正常抓取。入口頁被 robots.txt 屏蔽、返回非 200 狀態碼，或者响應時間過長，都會让後續的發現和抓取被拖慢。
- 日誌里有没有入口頁的抓取记錄。如果搜尋蜘蛛连入口頁都很少来，那目标 URL 停留在已發現狀態就很好理解了，問题出在入口頁的抓取频率上，而不是目标 URL 本身。
可以尝试的几個動作
让入口頁保持稳定
入口頁的連結列表不要每次訪問都大改，尽量在一段時間内保持固定。搜尋蜘蛛對同一批 URL 反复看到相同的連結，會更容易安排抓取。
控制單頁連結數量
一個入口頁塞几百條連結，抓取预算會被摊薄，每條 URL 分到的抓取机會都很少。按抓取日誌反映的實际频率来調整，比一次性堆量更有效。
配合 sitemap 和站内連結
蜘蛛池入口頁只是發現渠道之一。如果目标 URL 同时出現在站点自身的導航、列表頁或 sitemap 里，被發現和被安排抓取的概率會更高一些。
检查目标 URL 的返回狀態
目标連結如果指向 404、503，或者需要跳轉多次才能到達，抓取會更容易被中断。把狀態碼先理顺，再谈發現。
常见誤区
- 频繁更換入口頁域名，指望“換個入口就能被抓”。換域名往往會让已有的發現记錄重新開始。
- 把“已發現但未编入索引”当成必须立刻處理的問题，反复提交、反复改動，反而增加不稳定因素。
- 只看入口頁的表現，不看目标 URL 自身的内容和狀態。
提醒：任何入口頁方案都只能影响“被發現”和“被安排抓取”的概率，無法决定收錄结果。收錄與否最终由搜尋引擎根據頁面质量和整体评估决定。
實际排查时，建议固定一個观察周期，比如一到两周，记錄入口頁抓取次數、目标 URL 狀態碼和索引狀態的變化。資料比感觉更能說明問题。