改版上线後最常遇到的情况是：新頁面迟迟不出現，舊 URL 還在被反复抓取，日誌里堆着一批 404 和跳轉。這通常不是蜘蛛反應慢，而是改版把 URL 發現的那几條通路一起改断了。

改版到底打断了什么

蜘蛛認识一個站，靠的是三條线索：入口頁的連結、Sitemap 里列的地址，以及歷史抓取记錄。改版如果同时動了模板、目錄结构和導航，這三條线索就會互相打架。

• URL 變了，舊地址没有做交接，蜘蛛沿着舊地址爬到的全是错誤頁。
• 導航和列表模板重寫，原本指向内容頁的内鏈變少，新頁面成了孤岛。
• Sitemap 還是舊版本，或者生成了新地址却没同步声明。
• 改版同时上了新服務器或新 CDN，抓取本身就變得不稳定。

先把入口和導航稳住

首頁、栏目頁和主導航是蜘蛛重新認识站点的起点。改版可以換视觉，但尽量不要在同一時間把這些入口的可達性弄乱。确保從首頁出發，两三次点击之内能到主要的栏目和内容頁，路径不要绕。

如果只是模板調整，建议保留原有導航位置和連結结构，让蜘蛛沿着熟悉的路线繼續抓。大改结构的话最好分批上线，先改模板再改目錄，別把两件事压在同一天。

URL 變更的交接工作

301 指向最终地址

舊地址一律 301 到新地址，並且直接指向最终頁，不要 A 跳 B、B 再跳 C。跳轉层級越長，蜘蛛跟到目标的成本越高，中間断一环整條路径就废了。

Sitemap 同步替換

Sitemap 要和线上地址保持一致：新地址進清單，舊地址移除。站点規模大时，分片文件也要一起更新，別只改主索引。清單里保留大量已经跳轉的舊地址，只會让抓取額度花在跳轉上。

内鏈重新织網

改版後要检查内容頁之間、列表頁到詳情頁的連結是否完整。常见的遗漏是：新模板用 JS 渲染列表，連結在源碼里不存在；或者分頁组件只保留上一頁下一頁，深一点的列表頁没有入口。可以用抓取工具按連結關系画一遍图，看看哪些頁面只能靠 Sitemap 才能被發現。

別让服務器在改版期間添乱

改版、換服務器、上 CDN 挤在一起时，最容易出現間歇性的 5xx 或超时。蜘蛛遇到连續错誤會降低抓取频率，恢复起来比想象中慢。上线前後一段時間，尽量保證响應時間稳定，把明顯的错誤挡在日誌能看见的范围内。

上线後用日誌對帳

改版後的头几周，建议定期做一次對帳：

1. 看日誌里被抓的 URL，有多少是 404、301 或 5xx。
2. 比對 Sitemap 里的地址和實际返回的狀態碼，找出不一致的條目。
3. 看新頁面有没有被抓，抓的是不是移動版、有没有被截断。
4. 看抓取總量是否回到改版前的水平，還是持續走低。

改版不是一次提交就結束的事，而是一次 URL 關系的重建。蜘蛛需要時間重新走一遍路线，你能做的是把路线铺得清楚一点。

观察节奏

抓取恢复通常不是一夜之間完成的，低频更新的站点更慢。與其天天盯着抓取量波動，不如按周看趋势：错誤率有没有下降，新地址有没有進入抓取列表，重要頁面有没有被反复抓到。趋势稳定下来，說明蜘蛛已经接受了新的结构。