很多人做蜘蛛池时會遇到一種情况：日誌里入口頁的抓取次數明顯變多，搜尋蜘蛛来得也勤，但目标 URL 一直停在“已發現未抓取”，或者干脆查不到。這时候如果只盯着入口頁繼續加連結，往往會越調越乱。更有效的做法，是把抓取和索引当成两個獨立环节分別判断。
抓取和索引是两件事
抓取指的是搜尋蜘蛛把入口頁的 HTML 拿回去，從里面提取出目标 URL，放進待抓取队列；索引指的是搜尋引擎在抓取目标頁之後，判断内容质量、是否重复、是否值得進入结果頁。入口頁能影响的主要是前一個环节，也就是“被發現”，很难直接决定後一個环节。
所以当目标 URL 没有被收錄，第一步不是繼續增加入口頁，而是先確認目标頁本身到底有没有被抓取過。如果连抓取记錄都没有，問题在發現鏈路上；如果已经被反复抓取但依然不收錄，那基本是目标頁自身或站点整体的問题，繼續堆入口頁意义不大。
怎么判断抓取环节是否正常
- 看服務器日誌：目标 URL 是否有搜尋蜘蛛的訪問记錄，返回的狀態碼是不是 200。
- 看抓取時間分布：是集中在某一天，還是持續有零星抓取。後者通常說明連結還在被重复發現。
- 看抓取范围：如果只有入口頁被抓，目标頁從未出現，說明入口頁里的連結可能没被解析，比如放在需要 JS 渲染的区域、iframe 里，或者被 robots 規則挡住。
- 看入口頁返回的 HTML：目标連結是否為标准的 a 标簽，並且能直接訪問到最终地址。
這几項里只要有一項對不上，就先修入口頁；如果几項都正常，那問题大概率不在入口頁。
目标頁已被抓取却不收錄，常见原因
- 目标頁内容與站内其他頁面高度重复，或者内容量太少，只有几行字。
- 目标頁自身带有 noindex 之類的标记，或者被 robots 規則挡住。
- 目标頁返回狀態不稳定，时而 200、时而 5xx，抓取工具無法稳定获取内容。
- 站点整体在搜尋结果里的表現較弱，新頁面需要更長的观察期。
這几條都和入口頁無關，繼續優化入口頁不會改變结果，方向應该轉到目标頁和站点本身。
入口頁层面還能做的調整
- 控制單個入口頁的連結數量，別把几十上百條連結堆在同一屏，容易稀释權重。
- 保持入口頁能稳定訪問，避免频繁改版、改路径，让已经建立的發現路径失效。
- 連結尽量直接指向最终 URL，减少中間跳轉层級。
- 定期清理已经失效的目标連結，减少無效抓取消耗。
- 用 sitemap 作為补充通道，但不要把它当成唯一手段。
一個可以照着走的排查顺序
- 先在日誌里確認目标 URL 有没有被抓取過，抓取频次和狀態碼是多少。
- 检查目标頁的狀態碼、是否被 noindex、robots 是否允许抓取。
- 抽查目标頁内容和站内其他頁面的重复程度，看是否存在明顯同质化。
- 以上都正常，再回到入口頁，優化連結形式、連結位置和更新频率。
入口頁解决的是“被發現”，不是“被收錄”。把這两件事混在一起，最容易出現的情况就是入口頁越加越多，目标 URL 依然原地不動。
實际操作中，可以先给自己定一個观察周期，比如两到四周，期間只改一個變量，看目标 URL 的抓取和索引狀態有没有變化。變量改得太多，最後很难判断到底哪一步起了作用。