标签：爬虫策略

蜘蛛池入口页的 robots 指令：哪些该放开，哪些该收紧

robots.txt、meta robots 和 X-Robots-Tag 三种指令作用范围不同，混用容易把入口页的发现路径堵死。本文梳理入口页该放开和该收紧的几类情况，说明 noindex 与 Disallow 的先后顺序，并给出一份改完规则后的检查清单。