标签：抓取准入

robots.txt 放行与拦截：蜘蛛进站前读到的第一份指令

robots.txt 是蜘蛛进站前读到的第一份文件，它只决定能不能抓，不决定是否收录。本文梳理它的读取方式、Disallow 与 Allow 的写法、与 noindex 的区别、常见的误屏蔽场景，以及改版过渡和上线前的检查要点。