标簽：網站配置

站点运营：robots.txt 自查，別让一條規則挡住整個目錄

robots.txt 只有几行，却决定了蜘蛛能看到什么。這篇整理了一份實操自查清單：確認文件可正常訪問、识別三類常见誤伤寫法、理清它與 meta robots 的分工，並给出改動前後的记錄與驗證方式，帮你在改版和上线新栏目後少踩坑。