标签：配置自查

蜘蛛池里的 robots 与 meta robots：放开什么、挡住什么

蜘蛛池的 robots.txt 和 meta robots 常被随手配置，写错一条就可能让蜘蛛连入口页都不再请求。本文梳理入口页的三种 robots 取向、noindex 与 nofollow 的适用场景，以及上线前后的自查顺序，帮你把抓取路径理顺。