标签：爬虫拦截

蜘蛛池的拦截规则：robots.txt 与 meta robots 写错，入口也白搭

搭建蜘蛛池时，入口链接和域名数量常被反复打磨，robots.txt 与 meta robots 却容易被忽略。这两处属于一票否决型配置，写错一个字符就可能让蜘蛛在门口掉头。本文梳理常见写错方式、页面级开关的用法，以及上线前可执行的核查清单。