换模板、调栏目结构、迁移域名,这些操作在后台可能只是一次发布,但对搜索引擎蜘蛛来说,等于走进了一个陌生的站点。它手里拿着的还是旧地址、旧路径和旧模板的印象。改版之后如果不做一轮抓取自查,常见的结果有两种:蜘蛛在旧地址上反复撞墙,或者把新旧混杂的页面一起收进去。
一、先把新旧地址的对应关系理清楚
动手改版之前,先导出一份完整的 URL 清单,改版后逐条标注去向。这份映射表是后面所有自查的基础,也是看日志时的对照物。大致分为四类:
- 保留:地址和内容都没变,不需要额外处理。
- 迁移:内容还在,只是地址变了,用 301 指向新地址。
- 合并:几篇内容整理成一页,旧地址 301 到新页面。
- 下线:内容不再提供,返回 404 或 410,不建议一律跳到首页。
把最后一类挑出来单独确认,因为「全部跳首页」是改版中最常见的偷懒做法,蜘蛛会因此不断发现同一批无意义地址。
二、模板换过之后,重点看三类页面
模板一换,最容易出问题的不是首页,而是那些数量最多的模板页。改版上线后,建议用抓取工具或直接查看页面源码,确认以下几点:
- 首页:新版首屏是否还有正文级的站内链接,而不是把导航全部塞进脚本或图片里。
- 列表页:分页是否还能被逐页访问,「加载更多」有没有留下可跟随的地址,而不是只有按钮。
- 详情页:正文是否还在 HTML 里,标题、栏目归属、上下篇链接有没有因为模板重写而丢失。
这三类页面覆盖了站点的大部分入口,先确认它们,再去看零散页面。
三、当心跳转链,最好只有一跳
改版时经常出现这样的情况:旧地址 301 到中间地址,中间地址再 301 到最终页。对用户来说只是慢了一点,对蜘蛛来说却是一条需要反复确认的链路。自查时留意几种情况:
- 多条 301 串在一起,能合并成一条就合并。
- 用 302 代替 301,并且长期挂着不换。
- 用 meta refresh 或 JavaScript 做跳转,蜘蛛可能走不到新页面。
- 旧地址跳新地址,新地址又因为参数问题跳回旧地址,形成循环。
改版迁移的目标不是「能跳过去」,而是「一跳就到」。链路越长,中间任何一个环节出问题,后面的页面都可能被漏掉。
四、给自己留一个观察窗口
改版不是发布完就结束的动作。上线后建议留出四到六周的观察期,重点看几项变化:
- 蜘蛛对旧地址的访问量是否在下降,对新地址的访问是否在上升。
- 服务器日志里是否还有大量指向已下线路径的抓取,且返回 200。
- 新页面被发现的节奏是否正常,有没有某类模板长期没有抓取记录。
- 站内搜索、标签页、侧栏推荐里是否还残留旧地址。
如果某个栏目在观察期内一直没有抓取记录,通常是内链入口的问题,而不是内容本身的问题,可以从这个方向去查。
五、几个容易被忽略的细节
- 旧版 Sitemap 还挂在服务器上,或者 robots.txt 里仍写着旧路径。
- 内链是硬编码的旧 URL,页面能打开,但每次都要多跳一次。
- CDN 或页面缓存仍然返回改版前的版本,蜘蛛拿到的和用户看到的不一致。
- 移动版模板是单独一套,改版只改了桌面版。
- 改版期间提交过临时测试域名,没有及时用 301 收回到正式域名。
改版本身不难,难的是让所有旧入口都指向同一个新出口。把地址映射表做好,把跳转控制在一条,把观察期走完,蜘蛛适应新版的速度通常会比想象中快一些。