标签：网站配置

站点运营：robots.txt 自查，别让一条规则挡住整个目录

robots.txt 只有几行，却决定了蜘蛛能看到什么。这篇整理了一份实操自查清单：确认文件可正常访问、识别三类常见误伤写法、理清它与 meta robots 的分工，并给出改动前后的记录与验证方式，帮你在改版和上线新栏目后少踩坑。