在站点运营中，robots.txt 和 meta robots 是控制蜘蛛抓取与索引的两道常见开关。它们配置简单，但也容易被忽略：复制模板时带进测试规则、临时屏蔽后忘记删除、把不该屏蔽的目录写进 Disallow，都可能让蜘蛛在门口掉头。定期自查这两处规则，比事后从日志里找原因更省力。
先分清两套规则各自管什么
两者作用范围不同，混用容易造成误判。
- robots.txt：放在域名根目录，告诉蜘蛛哪些路径可以抓、哪些不可以抓。它不直接影响已抓取页面的索引状态，但会阻止蜘蛛继续访问。
- meta robots：写在页面 head 中，针对单个页面，常用 noindex、nofollow、noarchive 等指令，控制该页是否允许索引、是否传递链接权重。
- X-Robots-Tag：通过 HTTP 响应头下发，适合非 HTML 文件（如 PDF、图片）或批量控制。
常见误配与风险
测试规则混入正式环境
开发阶段常写 Disallow: / 来避免测试内容被抓，上线后未清理，整站等于对蜘蛛关门。
Disallow 范围过宽
例如想屏蔽 /search，却写成 Disallow: /s，连带 /shop、/service 等正常目录一起被挡。匹配符号差一点，影响范围可能差很多。
noindex 与 robots.txt 冲突
如果页面被 robots.txt 禁止抓取，蜘蛛无法读到页面里的 noindex，反而可能因为外部链接而出现在索引中。要禁止索引，优先让页面可抓取并返回 noindex。
屏蔽了 CSS、JS 等渲染资源
蜘蛛需要抓取样式和脚本才能理解页面渲染结果。如果 robots.txt 屏蔽了 /assets/ 或 /static/，可能影响对移动端和懒加载内容的判断。
自查清单
- 打开 你的域名/robots.txt，确认没有 Disallow: / 这类整站屏蔽；检查是否误写测试域名或临时规则。
- 逐条核对 Disallow 路径，确认没有把正常栏目、分类页、详情页包含进去；注意 / 和 /* 的匹配差异。
- 用不同 UA（如 Googlebot、Bingbot）测试关键 URL，看是否返回可抓取状态；不要只用自己的浏览器访问。
- 抽查重要页面源码中的 meta robots 标签，确认没有意外的 noindex、nofollow；同时检查 HTTP 响应头中的 X-Robots-Tag。
- 查看服务器日志中蜘蛛对重要目录的访问情况，如果长期没有记录，可能是规则挡住了。
- 把 robots 规则纳入上线检查单，改版、迁移、临时活动结束后都复查一次。
修改后的验证与观察
修改 robots.txt 后，蜘蛛不会立刻按新规则重新抓取所有路径。可以先观察日志中目标路径是否出现访问记录，再结合站点地图和内部链接逐步引导。如果之前误屏蔽了重要目录，恢复后不要急于大量提交 URL，先确认规则已生效、页面可正常访问，再按正常节奏推进。
robots.txt 是抓取协议，不是安全工具。真正敏感的后台、配置文件、用户数据，应该用权限控制和服务器配置保护，而不是只靠 Disallow。
规则越简单越不容易出错。每次调整 robots.txt 或 meta robots，都问一句：这条规则会挡住谁？蜘蛛还能不能看到我想让它看到的内容？把这两个问题当成例行检查，能减少很多不必要的抓取损失。