新站上线後，最先让人焦虑的往往不是排名，而是“蜘蛛到底来没来”。抓取是後面所有环节的前提，但新站没有歷史积累、没有外鏈、没有日誌可查，蜘蛛訪問频率低、間隔長，是很正常的事。头几周真正要做的不是催，而是把“能被發現、能被抓到、能抓得住”這三件事做扎實。

上线前先確認頁面真的可抓

很多新站的問题不在蜘蛛，而在自己：頁面用浏览器打開正常，但蜘蛛拿到的和用戶看到的不是一回事。上线前逐項過一遍，比上线後反复提交有用得多。

• robots.txt 不要出現全站 Disallow，測試环境遗留的規則最容易带到线上。
• 首頁和栏目頁在關閉 JavaScript 的情况下，也要能看到正文和至少一部分連結。
• 關键頁面直接返回 200，不要用一長串跳轉把蜘蛛從 A 送到 B。
• 對蜘蛛的請求不要返回 5xx，也不要長時間挂着一個空白响應。

第一批 URL 從哪里来

新站没有内鏈網絡，也没有外鏈积累，URL 發現基本靠三條路：首頁、Sitemap，以及少量外部連結。首頁是最重要的入口，把最核心的五到十個頁面放在首頁可以点到的位置，比把几百個頁面塞進 Sitemap 更實在。Sitemap 只放确定要抓的頁面，把尚未完成的、參數化的、内容重复的 URL 排除在外。

内鏈要一层一层铺開

常见的誤区是一次上线几千個頁面，然後指望蜘蛛挨個抓完。新站的抓取額度有限，頁面铺得太開，蜘蛛容易在低價值頁面之間打轉，核心頁面反而迟迟拿不到抓取机會。更稳的做法是先把核心栏目和詳情頁连成一個小閉环：首頁到栏目頁，栏目頁到詳情頁，詳情頁之間再有少量相關推荐。

連結數量不重要，連結路径要清楚

一個頁面有五條来自不同栏目、不同层級的内部連結，比五十條来自同一個位置的連結更有意义。連結来源分散，蜘蛛才更容易判断這個頁面在站点里的位置和分量。

服務器稳定比提交次數重要

蜘蛛在决定抓取频率时，會參考站点的整体响應表現。频繁的 5xx、長時間的维護頁、無規律的超时，都會让蜘蛛降低對本站的訪問节奏，而且這個下調不會在服務器恢复的第二天立刻回到原来的水平。新站本来抓取就少，再被降一次速，恢复期會拉得更長。

新站阶段最不划算的事，就是让蜘蛛第一次来的时候吃了閉门羹。

用日誌看進展，而不是靠感觉

每天固定看一次服務器日誌，重点只有三件事：

• 蜘蛛請求數量有没有缓慢上升，還是長期停在同一水平；
• 返回的狀態碼分布是否正常，200 占多數，5xx 和 404 是否在少數；
• 它主要在抓哪些路径，是不是集中在几個頁面来回轉。

如果發現蜘蛛反复抓的都是一些不重要的頁面，說明内鏈把它的注意力引偏了，這时候調連結结构比繼續提交 Sitemap 有效。

几個常踩的坑

• 一天提交好几次 Sitemap，指望這样能加快抓取；
• 用蜘蛛池给新站刷訪問，請求量上去了，真實抓取却没變化；
• 上线大量空頁面、标簽聚合頁和带參數的篩選頁；
• 内容還没准备好就把 URL 放出去，之後又改标题、改正文。

抓取是一個慢慢累积的過程。新站头几周把路径打通、响應做稳、頁面有東西可看，就已经足够了，剩下的交给時間。