搜索蜘蛛访问一个站点时，第一步并不是直接抓取页面，而是先检查根目录下的robots.txt文件。这个文件里写的规则，决定了蜘蛛接下来可以走哪些路、不能走哪些路。很多站长对Robots协议的理解停留在“屏蔽不需要收录的目录”这一层，但实际配置中，一些看似不起眼的错误，会让原本应该被发现的URL被蜘蛛直接跳过。
常见误区一：Disallow规则写得太宽
Robots协议中，Disallow的值是一个路径前缀。比如Disallow: /admin会同时屏蔽/admin、/admin_panel、/admin_login等一切以/admin开头的URL。如果站点根目录下存在类似/administrator这样的后台地址，这种写法可能正好符合预期，但如果某个正常目录恰好以相同前缀开头，就会被误伤。
建议使用更精确的路径，例如Disallow: /admin/（末尾加斜杠）来限定目录，避免误匹配。
常见误区二：允许与禁止的顺序问题
在robots.txt中，Allow和Disallow的匹配规则是：对同一个路径，按顺序匹配，先命中的规则生效。部分站长习惯把所有Disallow写完后统一加一条Allow，但这样往往会让后写的Allow覆盖掉前面的限制，造成需要屏蔽的页面反而被允许抓取。更典型的错误是在Disallow之前加Allow，结果同样无效。
正确做法是：把精确的Allow规则放在前面，再用较宽的Disallow兜底。例如：
Allow: /public/Disallow: /这样蜘蛛只能访问/public/下的URL。
常见误区三：通配符与结尾锚点的理解偏差
Robots协议标准支持通配符*和结尾符$。但部分站长喜欢用Disallow: /*.php$来屏蔽所有PHP文件，却忽略了URL中包含问号参数的动态地址。比如/red.php?id=123并不会被这条规则匹配，因为?后面的内容不算在路径里。另外，有的站长在规则末尾不加$，导致原来只想屏蔽一条路径，却屏蔽了所有包含该路径的URL。
常见误区四：Sitemap引用位置错误
robots.txt中可以声明Sitemap的位置，帮助蜘蛛更快发现站点地图。但Sitemap行不区分Allow/Disallow顺序，必须放在独立的行，并且以Sitemap:开头。有些站长把它放在某个规则后面，或者写成小写，导致蜘蛛无法识别。
常见误区五：爬虫名称写错
不同搜索引擎的蜘蛛名称并不相同。百度是Baiduspider，谷歌是Googlebot，必应是Bingbot。有的站长只针对其中一个做规则，其他蜘蛛则不受管控。或者误将蜘蛛名称写成BaiduSpider的大小写错误版本，规则完全不生效。
常见误区六：robots.txt文件本身不可访问
如果robots.txt文件返回404，蜘蛛会默认允许抓取所有内容。如果返回500或超时，蜘蛛可能会暂时降低抓取频率，甚至放弃抓取。还有的站点在robots.txt里使用了不规范的换行或编码，导致解析失败。
如何检查Robots协议是否影响URL发现？
- 登录搜索引擎的站长平台，使用robots检测工具，输入需要检查的URL，查看是否被允许。
- 查看服务器日志，看蜘蛛是否请求过robots.txt，以及后续是否访问了其他页面。如果蜘蛛只请求robots.txt，却不继续抓取，多半是规则把首页或关键入口屏蔽了。
- 核对Sitemap中的URL是否与robots规则冲突，确保所有在Sitemap中列出的URL都是允许抓取的。
实用建议：从URL发现角度维护Robots协议
- 保持robots.txt简洁，只写确实需要屏蔽的路径，不要因陋就简用“Disallow: /”来暂时禁止抓取，这会影响整个站点的URL发现。
- 每次修改后，用在线解析工具或站长工具验证规则是否符合预期。
- 定期检查日志，观察蜘蛛实际抓取量是否与预期一致，如果出现整体性下降，优先排查robots.txt是否被误改。
Robots协议不是搜索引擎优化的利器，而是站点与蜘蛛之间的沟通契约。配置得当，能让蜘蛛高效发现你的内容；配置不当，则可能让你辛辛苦苦准备的页面成为蜘蛛的“盲区”。从URL发现角度出发，花十分钟检查一下robots.txt，往往比反复调整内链更有效。