标签：爬虫指令

蜘蛛池入口页的 robots.txt 与 sitemap：别在指令层把蜘蛛挡住

蜘蛛池的入口站能不能被蜘蛛读到，不只看域名和链路，还取决于 robots.txt、meta robots 与 sitemap 这一层指令。本文讲清它们各自管什么、入口站常见的误伤写法、页面级开关的取舍，以及 sitemap 该放哪些 URL 和铺量前的检查顺序。