新頁面上线後，运营最常問的一句话是“什么时候能被蜘蛛發現”。這個問题得先拆開看：蜘蛛要先知道這個 URL 存在，這属于發現；然後再来抓一次，這是抓取；最後才判断要不要放進索引，這是收錄。三個环节的發力点不同，混在一起谈，就容易把“提交過”直接当成“會收錄”。

發現、抓取、索引是三件事

後台提示的“提交成功”，通常只說明 URL 進入了對方的待處理队列，後面的抓取频次、是否入库，還要看頁面本身的狀態和站点整体的抓取预算。把發現這一步做扎實，相当于把门打開，但人進不進来是另一回事。

站内連結：最稳定的入口

蜘蛛顺着已有頁面爬行，是最自然的發現方式。一個頁面只要能通過几次点击從首頁到達，被發現的概率就明顯更高。

• 導航、分類頁、最新列表，是给新頁面導流的常規位置；
• 相關内容、上下篇、标簽聚合，可以把新内容补進老頁面的出口；
• 發布时顺手從几個已有頁面加一條真實相關的連結，往往比單纯等 sitemap 更直接。

只提交 sitemap、站内没有任何入口的頁面，容易長期停在“已發現、未抓取”。

sitemap：說明“有哪些”，不承诺“什么时候来”

站点地图的價值在于集中告知 URL 清單，尤其是那些层級較深、站内連結較少的頁面。使用时有几個细节值得注意：

• 只放希望進入索引的規范 URL，被 noindex、被重定向、僅用于篩選的地址不适合混在里面；
• lastmod 只在内容确實發生變化时更新，频繁無變化地改動，時間信号會逐渐失去參考價值；
• 文件按内容分区拆分，單文件保持在一個合理的 URL 數量與体积范围内，站点地图索引文件负责匯總；
• 地址要能正常返回 200 且與頁面實际使用的版本一致，別在 sitemap 里寫另一個變体。

外鏈與其他入口

来自其他站点的真實連結，通常意味着一個獨立的外部入口。它的作用更像“加速發現”，而不是收錄保證。此外還有搜尋资源的提交入口、部分协议推送等渠道，可以作為补充，但不必指望單一渠道解决所有頁面的發現問题。

發現之後，還要看抓取與评估

發現只是排队。之後蜘蛛會按站点權重、更新频率、服務器响應速度等因素安排抓取，再對頁面做质量與重复判断。运营端能做的事有限但明确：保證服務器稳定响應、別让重要頁面藏在层层參數後面、控制同一内容的多個變体。

想確認是否真的被抓過，看服務端日誌比看後台狀態更可靠，同时注意区分正常返回與條件請求返回的差异。

几個常见誤区

• 以為提交越多越好，把全站所有參數组合都塞進 sitemap；
• 把站内搜尋结果頁、排序篩選頁当成正常内容提交；
• 認為被發現了就等于被收錄，忽略頁面质量和重复信号；
• 新頁面只在 sitemap 里出現，站内却没有任何連結指向它。

比較稳妥的做法是：新頁面從站内主路径可達，同步更新 sitemap，必要时再通過外部渠道补充入口。三步都做到位，剩下的交给蜘蛛按自己的节奏處理，比反复提交更有效。