标簽：抓取准入

robots.txt 放行與拦截：蜘蛛進站前讀到的第一份指令

robots.txt 是蜘蛛進站前讀到的第一份文件，它只决定能不能抓，不决定是否收錄。本文梳理它的讀取方式、Disallow 與 Allow 的寫法、與 noindex 的区別、常见的誤屏蔽场景，以及改版過渡和上线前的检查要点。