新栏目、新模板、新域名上线，很多人的第一反应是等日志里出现蜘蛛。但等到蜘蛛真的来了才发现问题，改起来往往已经牵动线上结构。更省事的做法是：在上线前，自己按蜘蛛的方式把这条路走一遍。
为什么要自己先走一遍
蜘蛛看到的世界和你用浏览器看到的世界并不完全一样。它不登录、不点按钮、不一定执行脚本，也不会因为页面好看就多给几次机会。你熟悉站点结构，知道该点哪里；蜘蛛只认链接和状态码。把这两者之间的落差提前找出来，比事后翻日志排查轻松得多。
第一步：从入口规则开始
蜘蛛的第一站通常是 robots.txt，然后是首页或 Sitemap。自测也从这里开始：
- 打开 /robots.txt，确认没有把新目录、静态资源目录或整站误挡。注意 Disallow 是按前缀匹配的，写 /search 这种规则时，可能连 /search-guide 一起挡住。
- 打开 Sitemap，确认里面列出的每个 URL 都能直接返回 200，而不是跳转之后才到目标页。
- 确认 Sitemap 的地址写进了 robots.txt，且文件本身可以匿名访问。
第二步：用请求模拟一次抓取
不必装复杂工具，命令行就够了。带上蜘蛛的 User-Agent 发请求，重点看四件事：
- 状态码：目标页返回的是 200，还是 301、302 甚至 403。跳转一两次问题不大，但每一跳都会消耗抓取资源。
- 响应头：是否带着 noindex，是否设了奇怪的缓存策略，或者存在把蜘蛛挡在外面的规则。
- 响应体：在不执行脚本的情况下，首屏 HTML 里有没有标题、正文和主要链接。如果关键内容全靠脚本插入，就要确认渲染方案是否稳定。
- 大小写与结尾斜杠：/Page 和 /page、/page 和 /page/ 是否被当成同一个地址，避免同一份内容生成多条路径。
第三步：把内链当成路径来走
入口没问题，不代表走得进去。挑几个最重要的目标页，从首页开始只靠点击链接往前，看看要几次才能到。三次以内比较理想，超过五次的页面，很容易长期停在抓取队列后面。
同时留意两类问题：
- 孤岛页面：Sitemap 里有，但站内没有任何入口链接。它可能被抓到，却缺少内部权重和上下文。
- 无限路径：筛选、排序、日历、分页组合出来的地址，理论上可以无限生成。用 robots 规则或 canonical 收敛，别让它们长期占住抓取队列。
第四步：看服务器扛不扛得住
蜘蛛抓取是并发请求，不是单个访客。自测时可以用脚本同时请求几十个页面，观察响应时间是否突然拉长、是否出现间歇性 5xx、CDN 缓存是否返回了旧版本。间歇性故障比一次宕机更麻烦：蜘蛛每次拿到的结果不稳定，它会主动降低抓取频率，恢复起来也慢。
自测的目的不是保证蜘蛛一定来，而是把明显挡路的东西在上线前清掉。
一份可以复用的自测清单
- robots.txt 允许目标目录和静态资源。
- Sitemap 中的 URL 全部返回 200，且不是重定向后的结果。
- 核心页面从首页出发三次点击内可达。
- 不执行脚本时，页面仍有可读的标题、正文和主要链接。
- TTFB 稳定，没有明显的间歇性 5xx。
- 空结果页返回 404 或 410，而不是 200 的空壳。
- canonical 指向自身或正确的规范地址。
- 参数组合不会生成大量重复路径。
把这份清单固定下来，每次改版、上新栏目或迁移目录时跑一遍，比每次凭感觉排查要可靠得多。