标簽：爬虫策略

蜘蛛池入口頁的 robots 指令：哪些该放開，哪些该收紧

robots.txt、meta robots 和 X-Robots-Tag 三種指令作用范围不同，混用容易把入口頁的發現路径堵死。本文梳理入口頁该放開和该收紧的几類情况，說明 noindex 與 Disallow 的先後顺序，並给出一份改完規則後的检查清單。