网
robots.txt 屏蔽了页面,为什么还能搜到:Disallow 与 noindex 的分工
很多站长把 robots.txt 的 Disallow 和页面上的 noindex 当成同一件事,结果要么屏蔽了却还在搜索结果里看到,要么加了 noindex 却迟迟不退出索引。本文讲清两个指令分别管抓取还是管收录、执行顺序为什么不能颠倒,以及常见的配置坑和验证方法。
阅读全文 →共找到 1 篇与“索引退出”相关的文章。
很多站长把 robots.txt 的 Disallow 和页面上的 noindex 当成同一件事,结果要么屏蔽了却还在搜索结果里看到,要么加了 noindex 却迟迟不退出索引。本文讲清两个指令分别管抓取还是管收录、执行顺序为什么不能颠倒,以及常见的配置坑和验证方法。
阅读全文 →