标簽：爬虫規則

站点运营：robots.txt 配置自查，別让規則誤伤有效頁面

robots.txt 看似简單，却常因規則寫错挡住蜘蛛抓取。本文整理配置自查思路，包括文件位置、常见誤伤、規則驗證和日常维護，帮助站点运营者在改版或上线新栏目後，减少因爬虫規則導致的 URL 發現與抓取問题。