網
图片、PDF 與附件也被收錄:非 HTML 资源的取舍與自查
很多人只检查 HTML 頁面的收錄,却忽略了图片、PDF、Office 文件和压缩包同样會進索引。這類资源有的能带来訪問,有的只是占用抓取時間。本文给出判断口径:哪些值得保留、哪些适合收紧,以及用 robots.txt 和 X-Robots-Tag 處理时的差异和自查顺序。
阅讀全文 →共找到 1 篇與“附件收錄”相關的文章。
很多人只检查 HTML 頁面的收錄,却忽略了图片、PDF、Office 文件和压缩包同样會進索引。這類资源有的能带来訪問,有的只是占用抓取時間。本文给出判断口径:哪些值得保留、哪些适合收紧,以及用 robots.txt 和 X-Robots-Tag 處理时的差异和自查顺序。
阅讀全文 →