标签：Allow与Disallow

robots.txt 里的 Disallow 与 Allow：蜘蛛被挡在门外通常出在哪一步

robots.txt 只控制抓取范围，既不控制收录，也不是访问权限工具。本文梳理 Disallow、Allow、通配符、大小写等常见误配置，说明它与 Sitemap、noindex 的分工，并给出改动前后可执行的检查步骤，减少蜘蛛被规则误挡的情况。