抓取和收錄不是一回事
不少站長看到日誌里蜘蛛来得勤，就預設頁面會被收錄；也有人發現頁面没進索引，第一反應是蜘蛛没来。這两種判断都容易走偏。抓取解决的是“内容被讀取”，收錄解决的是“内容被存進索引並有机會參與检索”，而在两者之間，還夹着一個经常被忽略的前置环节——URL 發現。
從 URL 到索引，中間有三道關
第一道：URL 被發現
搜尋引擎得先知道這個地址存在。常见入口是站内連結、站点地图、外部連結，以及歷史抓取记錄里留下的地址。如果某個 URL 只能靠站内搜尋框走到，任何頁面都不指向它，那它很可能连待抓取队列都進不去，後面两步自然無從谈起。
第二道：URL 被抓取
被發現之後，是否抓、什么时候抓，取决于抓取预算和頁面優先級。服務器响應慢、频繁返回 5xx、robots.txt 屏蔽、内鏈层級過深，都可能让抓取這一步卡住或一再延後。
第三道：内容進入索引
抓到了不等于收進去。頁面内容過薄、與站内其他頁面高度重复、canonical 指向別處、带有 noindex 标记，都可能让抓取结果被丢弃。這一步的判断權在搜尋引擎，不在提交動作本身。
怎么判断卡在哪一步
- 日誌里從来没有這個 URL 的抓取记錄，站内也找不到入口連結——問题更可能出在發現环节。
- 日誌有抓取记錄，但索引狀態長期停在“已發現，尚未抓取”——問题在抓取环节的調度與预算。
- 日誌抓取正常、返回 200，索引狀態却顯示“已抓取，尚未编入索引”——問题指向内容质量與重复度。
顺序很重要：先確認有没有被抓，再看抓到的结果為什么没被采用。跳過第一步直接改内容，往往是白改。
抓取量上升只是過程指标，索引量才是结果指标。把两者混在一起看，很容易對頁面质量做出错誤判断。
几個常见的誤判
第一個誤判是把提交当成收錄。站点地图提交、手動提交 URL，只是把地址放進發現與抓取的候選池，並不保證结果被索引。第二個誤判是看到一個頁面没收錄，就全站加大抓取触發力度。蜘蛛池這類手段能改善 URL 發現和抓取触發环节，但不會改變頁面本身的质量判断，抓到之後该不该收，仍然是另一回事。
還有一種情况是頁面曾被收錄又消失。這时同样要分段看：是抓取失敗導致索引里没有更新，還是索引层面的去重、降權把頁面挤了出去。两者的處理方向並不相同。
站点运营上可以做的几件事
- 保證重要頁面有可爬的站内連結，不要只挂在搜尋框或依赖交互才能到達的位置。
- 站点地图只放希望被收錄的規范 URL，定期清理失效與重复地址。
- 把服務器响應時間控制在合理范围，减少 5xx 和超时，避免抓取被中断。
- 按“發現—抓取—索引”的顺序排查，不要一上来就反复提交同一個地址。
把鏈路拆清楚之後，很多笼统的“收錄問题”都會落到某一個具体环节上，處理起来也更有针對性，而不是在几個环节之間来回试。