讨论收錄时，很多人直接從抓取開始看，其實在抓取之前還有一步：發現。蜘蛛得先知道這個 URL 存在，才谈得上安排抓取。發現路径做得不好，頁面内容再完整，也可能長時間躺在那里没人訪問。
發現、抓取、收錄是三件事
收錄流程大致可以拆成：蜘蛛發現 URL、安排抓取、判断頁面质量、决定是否放進索引。每一步都可能卡住，而且卡住的原因不一样。本文只讲第一步，因為這一步最容易被忽略，也最容易主動修：一個頁面如果没有任何入口，後面的环节都無從谈起。
蜘蛛發現 URL 的主要路径
- 站内連結：從首頁、栏目頁、列表頁、相關推荐一路点過去，這是最主要的發現方式。連結层級越浅，被發現的概率通常越高。
- 站点地图：适合补充那些内鏈不容易覆盖到的 URL，但它只是提供线索，不等于會被抓取。
- 外部連結：別的站点鏈過来，蜘蛛顺着連結爬進你的站。外鏈少的新站，發現速度自然慢一些。
- 其他入口：RSS、站長平台的提交入口、歷史抓取记錄里出現過的連結，都可能带来發現。
孤儿頁面：内容不差，就是没人带路
孤儿頁面指的是站内没有任何連結指向它的頁面。常见来源有几類：活動頁下线後入口被删掉、商品下架但詳情頁還在、批量生成後忘了接入列表頁、改版調整導航时把某些栏目摘了出去。
這類頁面蜘蛛很难自己找到。如果它曾经被外鏈引用過，可能還會被反复抓到；如果连外鏈都没有，基本就停在未被發現的狀態，等再久也不會自己冒出来。
内鏈深度和入口數量，决定發現顺序
同样是新頁面，一個從首頁三步能点到，一個要点七八层，被發現的時間差可能很明顯。可以按下面的思路自查：
- 從首頁出發，点几下能到這個頁面？超過四到五层就要留意。
- 它有几個站内入口？只有一個入口的頁面抗風險能力弱，入口頁一改就断。
- 入口連結放在哪？正文里的上下文連結，通常比頁脚批量連結更接近内容本身。
連結位置也會影响判断
導航、面包屑、正文推荐、相關阅讀，這些位置的連結在頁面里的分量並不一样。同一個 URL 從正文里鏈過去，和塞在頁面底部一大片連結里，效果往往不同。後者入口數量看着很多，實际價值有限，還可能被当成模板噪音。
被發現只是起点，收錄還要過质量關
URL 進入待抓取队列之後，蜘蛛還要判断值不值得抓、抓完值不值得留。内容重复、正文單薄、模板占比過高、和站内已有頁面高度相似，都可能让它停在抓取或索引环节。
所以修好發現路径並不能解决所有收錄問题，但它是你能主動控制的部分，投入产出比相對高。
一份简單的自查清單
- 新頁面發布时，是否同时接入了至少一個稳定的内鏈入口？
- 栏目頁、列表頁的分頁和篩選，是否把真正的内容頁带上了？
- 站点地图里的 URL，是否都是你希望被發現的頁面？
- 日誌里長期只被外鏈抓到、没有站内抓取记錄的 URL，是不是孤儿頁面？
- 重要頁面的内鏈深度，是否明顯比普通頁面更深？
發現解决的是蜘蛛知不知道你，收錄解决的是蜘蛛愿不愿意留你。两件事混着看，很容易找错原因。
實际运营里，先確認發現路径通畅，再去看抓取和索引表現，排查會顺很多。收錄本身是结果，不是能單方面要求的動作，能做的是把入口、结构和内容基础打好，剩下的交给時間。