标簽：爬虫指令

蜘蛛池入口頁的 robots.txt 與 sitemap：別在指令层把蜘蛛挡住

蜘蛛池的入口站能不能被蜘蛛讀到，不只看域名和鏈路，還取决于 robots.txt、meta robots 與 sitemap 這一层指令。本文讲清它們各自管什么、入口站常见的誤伤寫法、頁面級開關的取舍，以及 sitemap 该放哪些 URL 和铺量前的检查顺序。