冷啟動阶段的 URL 發現：新站和新目錄的第一批地址怎么被蜘蛛找到

新站上线、老站開出一個新目錄，最常见的困惑是：頁面明明已经能打開了，抓取日誌里却看不到蜘蛛。這個阶段的問题通常不在頁面质量，而在 URL 發現——蜘蛛根本不知道這些地址存在。

為什么冷啟動期發現最慢

蜘蛛的抓取起点是一批已知的地址。已收錄的域名、歷史上抓過的目錄、站外連結指向的頁面，都是它的信息来源。全新域名意味着這個集合几乎是空的，它没有理由主動去猜一個不存在的路径。

所以冷啟動的核心不是“優化頁面”，而是把地址交到蜘蛛手里，並且让它有路可走。

如果新目錄挂在已经收錄的域名下，可以從首頁、導航或抓取频率較高的列表頁鏈過去。這是成本最低的一條通路。

一條放在其他站点正文里的連結，往往比站内几十條連結更能带来首次抓取。不需要多，几條稳定、内容相關的連結就足够啟動。

Sitemap、站長平台提供的提交入口，都可以把 URL 直接告知搜尋引擎。它們解决的是“知道地址”，並不保證“马上抓取”。

蜘蛛進入入口頁之後，靠頁面里的連結繼續扩散。如果入口頁只有几段文字、没有任何指向詳情頁的連結，抓取就到此為止。列表頁、分類頁、上一篇下一篇這類结构，本质上是在给深层 URL 补路。

老站往往已经有一批被频繁抓取的頁面，從這些頁面鏈到新目錄，通常比單獨给新目錄做外鏈更快见到蜘蛛。做法可以是在相關栏目里加一條入口連結，或者让新頁面出現在已有的列表頁、聚合頁中。要注意的是，這些位置本身是给用戶用的，不是為了堆連結，入口過多反而互相稀释。

抓取日誌里能看出两件事：蜘蛛有没有来，以及它走到了哪一层。如果只看到首頁被訪問、没有更深的记錄，說明連結路径没走通；如果连首頁都没出現過，問题多半在入口本身——外鏈、提交，或者 DNS、robots 這類基础环节。

冷啟動不是一次動作，而是一段把地址逐步交出去的過程。先把通路修好，再谈节奏。