做收錄核對时，很多人第一反應是看索引量涨了没有、site 查询结果多了几個。但索引量只是结果，往前推還有两步：蜘蛛要先發現 URL，然後才谈抓取和编入索引。如果地址压根没被蜘蛛看到，後面所有優化都使不上劲。
發現、抓取、索引是三件事
URL 發現，指的是蜘蛛從某個入口知道“世界上存在這個地址”。常见入口包括站内連結、sitemap、外部連結、提交接口、跳轉關系等。抓取是蜘蛛真的来請求了這個地址，索引則是搜尋引擎判断頁面值得保留後放進候選库。三個环节任何一环断了，收錄核對都會卡住。
排查时不要只問“為什么没收錄”，先問“蜘蛛有没有机會看到它”。
常见的 URL 發現渠道
- 站内連結：從已有頁面指向新頁面，是最稳定的發現路径。入口越深、連結越少，被發現越慢。
- sitemap：适合批量提交新地址，但它更像一份清單，不保證蜘蛛立刻来抓。
- 外部連結：其他站点指向你的頁面，也能成為發現入口，但可控性較低。
- 提交接口：部分搜尋引擎提供 URL 提交入口，可作為补充，不等于收錄承诺。
- 跳轉與重定向：舊地址 301 到新地址时，蜘蛛可能顺着跳轉發現新 URL。
- 頁面内的分頁、篩選、相關推荐：這些位置會产生大量連結，但容易把蜘蛛带到低质或重复地址上。
核對时先回答三個問题
- 這個 URL 有没有至少一條可爬入口？ 如果只存在于後台或接口返回里，蜘蛛通常看不到。
- 入口頁面本身能不能被抓取？ 被 robots 屏蔽、需要登入、返回错誤碼的頁面，無法把發現机會传下去。
- 發現路径是否太深或太绕？ 点击五六层才到，或者必须经過參數跳轉，都會拉長發現時間。
發現路径單一會有什么表現
常见現象是：sitemap 里提交了，日誌里却迟迟没有该地址的抓取记錄；或者只有一條很深的導航鏈，蜘蛛偶尔爬到一次就再也没回来。這时與其反复提交，不如先补一條稳定的站内入口，比如在相關栏目頁、聚合頁或上一篇/下一篇里加上連結。
發現是收錄的前置條件，但不是收錄的保證。蜘蛛看到了，仍可能因為内容质量、重复度、抓取预算等原因不索引。
一個简單的發現路径核對表
- 新 URL 是否出現在站内可点击的連結里？
- 連結所在頁面是否返回正常狀態碼、可被抓取？
- sitemap 是否包含该地址，且没有混入重定向和 404？
- 是否有外部或歷史連結指向它？
- 日誌里是否出現過對應蜘蛛的請求？
把這几項過一遍，再去看抓取和索引狀態，排查會清楚很多。收錄核對不是盯着一個數字，而是顺着 URL 從被發現到被索引的鏈路逐段检查。