网
被 robots.txt 屏蔽的页面还留在搜索结果里:屏蔽与移除的核对顺序
在 robots.txt 里 Disallow 之后,URL 仍可能出现在搜索结果里,这不是屏蔽没生效,而是抓取许可和索引状态本来就分开。文章说明屏蔽、noindex、404/410 三种处理方式的差别,并给出一份从状态码到规则清理的核对顺序,避免规则打架导致旧索引长期清不掉。
阅读全文 →共找到 1 篇与“页面移除”相关的文章。
在 robots.txt 里 Disallow 之后,URL 仍可能出现在搜索结果里,这不是屏蔽没生效,而是抓取许可和索引状态本来就分开。文章说明屏蔽、noindex、404/410 三种处理方式的差别,并给出一份从状态码到规则清理的核对顺序,避免规则打架导致旧索引长期清不掉。
阅读全文 →