新站上线或老站開新栏目时，最常见的焦虑是“蜘蛛怎么還不来”。抓取不是一按開關就啟動的動作，它更像是一次需要條件的訪問：蜘蛛要先通過某條已知路径發現 URL，再判断這個地址值不值得放進抓取队列。上线前把几個基础項准备好，能减少後面反复排查的時間。
蜘蛛冷啟動时，能拿到什么
對搜尋引擎来说，一個全新域名几乎没有歷史记錄：没有外鏈、没有抓取日誌、没有可參考的更新频率。此时它對新站的處理通常會偏保守——先從少數已知入口试探性抓取，观察响應速度、内容质量、是否存在大量镜像或低质頁，再决定是否扩大抓取范围。
所以冷啟動阶段的目标不是“抓得多”，而是让少數几次抓取都能拿到完整、稳定、可以繼續往里走的頁面。一次成功且内容完整的抓取，比几十次超时或空壳响應更有價值。
上线前要確認的基础項
- 可訪問性：首頁、栏目頁、詳情頁在没有登入、没有地区限制、没有驗證碼的情况下能否直接打開。
- robots.txt：確認没有整站禁止抓取的規則，也没有把栏目目錄一並挡在外面。開發阶段用来屏蔽測試环境的規則，上线时记得清掉。
- 返回碼：不存在的頁面给 404 或 410，不要用 200 返回一個空模板；跳轉尽量一次到位，避免多級跳轉层层消耗抓取机會。
- Sitemap：至少包含首頁、主要栏目和一批有代表性的詳情頁，地址寫成绝對路径，不要混入已刪除或還没上线的頁面。
- 服務器：留意高峰期的响應波動。蜘蛛遇到超时會降低来訪频率，這個频率恢复起来通常比想象中慢。
给蜘蛛一條能走的路
URL 被發現之後，蜘蛛還需要一條路径走到頁面内部。常见的問题是：詳情頁只出現在列表頁的“加载更多”里，而首屏 HTML 中没有對應連結；或者栏目入口都收在图片、按钮里，缺少可解析的連結。
比較稳妥的做法是保持一條清晰的层級：首頁 → 栏目頁 → 分頁列表 → 詳情頁，每一层都有普通連結可以点击。新增栏目上线时，最好在首頁或相關栏目頁放一個入口，而不是只靠 Sitemap 里的一行地址。
内部連結的锚文本也值得花点時間。指向具体内容的描述性文字，比“点击這里”“更多”更能帮助判断頁面主题。
提交之後，看什么
把 Sitemap 提交给站長平台、或從已有頁面加一條外鏈，都只是把地址送到蜘蛛面前，不代表會被立刻抓取和收錄。更有意义的動作是观察：
- 服務器日誌里有没有出現搜尋引擎的抓取记錄，抓的是哪些地址。
- 被抓取的頁面返回狀態是否正常，是否返回了完整内容。
- Sitemap 中的 URL 有多少被訪問過，未訪問的是集中在某一類，還是分散在各處。
- 站長平台里的抓取統計、索引覆盖有没有異常提示。
如果一两周内完全没有抓取记錄，優先检查 robots.txt、服務器是否對蜘蛛返回了 403，以及域名是否刚做過迁移或屏蔽。
抓取是一個逐渐建立信任的過程。新站上线後几周内抓取量少、收錄慢都算常见。與其反复提交地址，不如先把响應速度、頁面完整度和内部連結做稳定。
几個容易踩的坑
- 把新站挂在临时域名或測試目錄下開發，上线後地址與 Sitemap 里寫的不一致。
- 上线即導入大量歷史資料，产生成批相似的薄内容頁，反而拉低整站的抓取意愿。
- 用前端路由渲染首屏，蜘蛛拿到的 HTML 里没有可跟随的連結。
- 上线当天同时改動 URL 结构、robots.txt 和服務器配置，出問题时难以定位是哪一步造成的。
把這些基础項分開、分步處理，出現問题时會更容易找到原因，冷啟動的這段時間也能少走一些弯路。