标簽：爬虫拦截

蜘蛛池的拦截規則：robots.txt 與 meta robots 寫错，入口也白搭

搭建蜘蛛池时，入口連結和域名數量常被反复打磨，robots.txt 與 meta robots 却容易被忽略。這两處属于一票否决型配置，寫错一個字符就可能让蜘蛛在门口掉头。本文梳理常见寫错方式、頁面級開關的用法，以及上线前可执行的核查清單。