网
图片、PDF 与附件也被收录:非 HTML 资源的取舍与自查
很多人只检查 HTML 页面的收录,却忽略了图片、PDF、Office 文件和压缩包同样会进索引。这类资源有的能带来访问,有的只是占用抓取时间。本文给出判断口径:哪些值得保留、哪些适合收紧,以及用 robots.txt 和 X-Robots-Tag 处理时的差异和自查顺序。
阅读全文 →共找到 1 篇与“附件收录”相关的文章。
很多人只检查 HTML 页面的收录,却忽略了图片、PDF、Office 文件和压缩包同样会进索引。这类资源有的能带来访问,有的只是占用抓取时间。本文给出判断口径:哪些值得保留、哪些适合收紧,以及用 robots.txt 和 X-Robots-Tag 处理时的差异和自查顺序。
阅读全文 →