标簽：Allow與Disallow

robots.txt 里的 Disallow 與 Allow：蜘蛛被挡在门外通常出在哪一步

robots.txt 只控制抓取范围，既不控制收錄，也不是訪問權限工具。本文梳理 Disallow、Allow、通配符、大小寫等常见誤配置，說明它與 Sitemap、noindex 的分工，並给出改動前後可执行的检查步骤，减少蜘蛛被規則誤挡的情况。