标簽：配置自查

蜘蛛池里的 robots 與 meta robots：放開什么、挡住什么

蜘蛛池的 robots.txt 和 meta robots 常被随手配置，寫错一條就可能让蜘蛛连入口頁都不再請求。本文梳理入口頁的三種 robots 取向、noindex 與 nofollow 的适用场景，以及上线前後的自查顺序，帮你把抓取路径理顺。