網
robots.txt 屏蔽了頁面,為什么還能搜到:Disallow 與 noindex 的分工
很多站長把 robots.txt 的 Disallow 和頁面上的 noindex 当成同一件事,结果要么屏蔽了却還在搜尋结果里看到,要么加了 noindex 却迟迟不登出索引。本文讲清两個指令分別管抓取還是管收錄、执行顺序為什么不能颠倒,以及常见的配置坑和驗證方法。
阅讀全文 →共找到 1 篇與“索引登出”相關的文章。
很多站長把 robots.txt 的 Disallow 和頁面上的 noindex 当成同一件事,结果要么屏蔽了却還在搜尋结果里看到,要么加了 noindex 却迟迟不登出索引。本文讲清两個指令分別管抓取還是管收錄、执行顺序為什么不能颠倒,以及常见的配置坑和驗證方法。
阅讀全文 →