新站刚上线时最容易焦虑的問题就是：蜘蛛到底什么时候来。其實抓取系統不會凭空知道一個域名，它需要先能解析到你的服務器，再從某個入口讀到第一批 URL，然後才谈得上回爬和更新。所以與其盯着日誌發呆，不如把被發現這條鏈路上的几個环节先检查一遍。
先把解析和协议层理顺
蜘蛛到訪走的是普通 HTTP 請求，任何一层卡住，它都進不来。
- DNS：域名解析要稳定，避免解析還没生效就急着提交。若有多條解析记錄，確認没有指向已下线的舊 IP。
- 端口與协议：80 和 443 都要能正常响應，http 到 https 用 301 统一，不要一邊能開一邊报错。
- 證书：證书過期或域名不匹配會让抓取中断，很多所谓蜘蛛不来，其實是證书問题。
- robots.txt：確認它返回 200 且内容正确。測試阶段寫過 Disallow: / 却忘记删掉，是新站最常见的自我屏蔽。
给蜘蛛一份明确的入口清單
蜘蛛發現 URL 主要靠外鏈、Sitemap 和内鏈三條路。新站外鏈少，後两條就更重要。
- Sitemap：把主要栏目頁和内容頁整理成 sitemap.xml 放在根目錄，並在 robots.txt 里用 Sitemap 指令声明它的地址。
- 首頁内鏈：首頁要能直接点到栏目頁，栏目頁能点到内容頁，連結寫在 HTML 里，不要等脚本执行完才出現。
- 去掉孤岛：任何一篇文章，至少要被一個可被抓取的頁面連結到。
提交 Sitemap 只是告诉抓取系統這里有地址，並不等于這些頁面會被立刻抓取或收錄，节奏仍由對方决定。
從站外引入第一批线索
新域名在抓取系統里没有歷史，站外連結往往是第一批线索的来源。數量不必多，關键是可訪問並指向真實頁面。行业论坛的個人主頁、合作方頁面的引荐連結、同一主体下的其他站点，都比批量購買的連結更有意义。社交平台的分享對抓取帮助有限，不必把它当成主要手段。
上线初期留意抓取节奏
第一批蜘蛛到来时，站点通常還没做過压力測試，容易出問题：
- 頁面响應要快，避免超时導致抓取中断。
- 不要出現大面积 5xx，连續失敗會让抓取频率下降。
- 留意 429 與限速策略，別把正常抓取当成攻击拦掉。
- 上线後尽量稳定 URL 结构，频繁改動會让已發現的地址失效。
用訪問日誌確認進展
與其猜，不如看服務器訪問日誌：蜘蛛的 UA、来訪 IP、請求的 URL 和狀態碼都能看到。如果只抓了首頁和 robots.txt 就停了，多半是内鏈或 Sitemap 有問题；如果抓取频繁但大量是 404，則要检查舊連結有没有做處理。日誌里路径的分布情况，基本就是站点结构在蜘蛛眼里的样子。
常见誤区
- 整站被 robots.txt 屏蔽，却在等收錄。
- Sitemap 里列了大量 404 或需要跳轉的地址。
- 首頁主要連結靠脚本渲染，HTML 里几乎没有可跟随的連結。
- 為了让蜘蛛多来，频繁重發 Sitemap 或反复改标题，收益很小。
新站冷啟動没有捷径，能做的是把解析、robots、Sitemap 和内鏈這几件事做扎實，让蜘蛛第一次到訪时能顺利走完一條完整路径。剩下的回爬频率和收錄進度，會随着站点稳定執行慢慢變化。