改版、換模板、調整目錄结构时，最容易出問题的地方往往不是頁面好不好看，而是蜘蛛原本走得通的那條路，在新版本里断了。等日誌里出現大量 404、抓取量明顯下滑再回头查，排查成本會高很多。把抓取预演固定成上线流程里的一步，能省下不少返工。
预演要回答的三個問题
不需要覆盖全站每一個地址，先把三件事確認清楚：
- 可達性：從首頁出發，经過栏目頁、列表頁，能不能一路点到目标詳情頁，中間有没有被 403、404 或重定向循环挡住。
- 可解析：連結是寫在 HTML 源碼里的 a 标簽，還是靠脚本执行後才生成。前者蜘蛛拿到源碼就能顺着走，後者要看渲染环节是否稳定。
- 可归因：同一篇内容是不是出現了多個地址，canonical 指向哪一個，Sitemap 里寫的又是哪一個。三者不一致时，抓取容易花在副本上。
怎么在预發布环境跑一遍
- 從线上 Sitemap、服務器日誌、内鏈抓取结果里各拉一份 URL 清單，合並去重，作為预演样本。
- 在预發布环境用命令行工具或爬虫程序顺着内鏈走一遍，记錄每個地址的狀態碼、跳轉次數和最终落地地址。
- 把预發布的结果和线上做對比，重点看原本返回 200 的地址現在變成了什么。
- 抓取頁面源碼，確認目标連結确實出現在 HTML 里，而不是只在渲染完成之後才出現。
预發布环境本身要点到為止：加 IP 白名單或訪問認證，避免測試内容被真實蜘蛛抓走。预演的目的是發現問题，不是让測試站參與线上竞争。
上线前的检查清單
- 核心入口頁返回 200，頁面上有指向主要栏目的可跟随連結。
- 列表頁到詳情頁的連結寫在 HTML 中，不依赖点击或滚動加载才出現。
- 分頁、篩選、排序參數生成的地址，要么可抓取且内容稳定，要么明确屏蔽，避免产生大量近似地址。
- Sitemap 里的 URL 與线上實际地址一致，抽样訪問均能返回 200，不再包含已下线的舊地址。
- robots.txt 没有誤封新目錄，也没有把整站样式和脚本一起挡掉。
- 改過地址的頁面准备好了 301，跳轉层數控制在最少，最终落地地址與 canonical 一致。
- 頁面主体内容在源碼中可见，标题、正文和連結不是全部由脚本注入。
- 移動端與桌面端使用同一套地址，不要把用戶導向另一套 URL 结构。
灰度上线與观察窗口
站点体量較大时，可以先把新模板放给一部分栏目，观察几天日誌：這些路径的抓取是否正常、狀態碼分布有没有異常、回訪节奏有没有變慢，稳定後再全量切換。這样即使出問题，影响范围也可控。
上线後的一两周内，重点看三件事：舊地址的 301 是否被正确跟随、新地址有没有被抓到、有没有突然冒出大量 404。抓取量上升或下降都可能有多重原因，不必因為一两天的資料波動就立刻回滚；但如果持續走低，並且日誌里能看到明确的断点，就该按上面的清單逐條回查。
预演不能保證蜘蛛一定来抓，也不能保證收錄。它能把修路這件可控的事提前做完，剩下的交给時間和持續的内容更新。
把這份检查做成团队里固定的上线動作，比出了問题再翻日誌要轻松得多。