搜尋蜘蛛訪問一個站点时，第一步並不是直接抓取頁面，而是先检查根目錄下的robots.txt文件。這個文件里寫的規則，决定了蜘蛛接下来可以走哪些路、不能走哪些路。很多站長對Robots协议的理解停留在“屏蔽不需要收錄的目錄”這一层，但實际配置中，一些看似不起眼的错誤，會让原本應该被發現的URL被蜘蛛直接跳過。
常见誤区一：Disallow規則寫得太宽
Robots协议中，Disallow的值是一個路径前缀。比如Disallow: /admin會同时屏蔽/admin、/admin_panel、/admin_login等一切以/admin開头的URL。如果站点根目錄下存在類似/administrator這样的後台地址，這種寫法可能正好符合预期，但如果某個正常目錄恰好以相同前缀開头，就會被誤伤。
建议使用更精确的路径，例如Disallow: /admin/（末尾加斜杠）来限定目錄，避免誤匹配。
常见誤区二：允许與禁止的顺序問题
在robots.txt中，Allow和Disallow的匹配規則是：對同一個路径，按顺序匹配，先命中的規則生效。部分站長习惯把所有Disallow寫完後统一加一條Allow，但這样往往會让後寫的Allow覆盖掉前面的限制，造成需要屏蔽的頁面反而被允许抓取。更典型的错誤是在Disallow之前加Allow，结果同样無效。
正确做法是：把精确的Allow規則放在前面，再用較宽的Disallow兜底。例如：
Allow: /public/Disallow: /這样蜘蛛只能訪問/public/下的URL。
常见誤区三：通配符與结尾锚点的理解偏差
Robots协议标准支持通配符*和结尾符$。但部分站長喜欢用Disallow: /*.php$来屏蔽所有PHP文件，却忽略了URL中包含問号參數的動態地址。比如/red.php?id=123並不會被這條規則匹配，因為?後面的内容不算在路径里。另外，有的站長在規則末尾不加$，導致原来只想屏蔽一條路径，却屏蔽了所有包含该路径的URL。
常见誤区四：Sitemap引用位置错誤
robots.txt中可以声明Sitemap的位置，帮助蜘蛛更快發現站点地图。但Sitemap行不区分Allow/Disallow顺序，必须放在獨立的行，並且以Sitemap:開头。有些站長把它放在某個規則後面，或者寫成小寫，導致蜘蛛無法识別。
常见誤区五：爬虫名稱寫错
不同搜尋引擎的蜘蛛名稱並不相同。百度是Baiduspider，谷歌是Googlebot，必應是Bingbot。有的站長只针對其中一個做規則，其他蜘蛛則不受管控。或者誤將蜘蛛名稱寫成BaiduSpider的大小寫错誤版本，規則完全不生效。
常见誤区六：robots.txt文件本身不可訪問
如果robots.txt文件返回404，蜘蛛會預設允许抓取所有内容。如果返回500或超时，蜘蛛可能會暂时降低抓取频率，甚至放弃抓取。還有的站点在robots.txt里使用了不規范的換行或编碼，導致解析失敗。
如何检查Robots协议是否影响URL發現？
- 登入搜尋引擎的站長平台，使用robots檢測工具，輸入需要检查的URL，查看是否被允许。
- 查看服務器日誌，看蜘蛛是否請求過robots.txt，以及後續是否訪問了其他頁面。如果蜘蛛只請求robots.txt，却不繼續抓取，多半是規則把首頁或關键入口屏蔽了。
- 核對Sitemap中的URL是否與robots規則冲突，确保所有在Sitemap中列出的URL都是允许抓取的。
實用建议：從URL發現角度维護Robots协议
- 保持robots.txt简洁，只寫确實需要屏蔽的路径，不要因陋就简用“Disallow: /”来暂时禁止抓取，這會影响整個站点的URL發現。
- 每次修改後，用在线解析工具或站長工具驗證規則是否符合预期。
- 定期检查日誌，观察蜘蛛實际抓取量是否與预期一致，如果出現整体性下降，優先排查robots.txt是否被誤改。
Robots协议不是搜尋引擎優化的利器，而是站点與蜘蛛之間的沟通契约。配置得当，能让蜘蛛高效發現你的内容；配置不当，則可能让你辛辛苦苦准备的頁面成為蜘蛛的“盲区”。從URL發現角度出發，花十分钟检查一下robots.txt，往往比反复調整内鏈更有效。