很多站点把可索引资源都当成 HTML 页面来看待，实际上入口页上的链接经常指向 PDF、图片、视频、压缩包或安装包。这类目标 URL 的抓取和收录逻辑与普通页面并不一样，下面按常见情况拆开说。
搜索蜘蛛会抓取非 HTML 资源吗
只要链接出现在搜索蜘蛛能抓到的入口页 HTML 里，且没有被 robots.txt、meta 或响应头屏蔽，蜘蛛通常会向该 URL 发起一次 HTTP 请求。这一步是抓取，不代表一定会被索引。对于非 HTML 资源，搜索引擎往往只把它当作附件或媒体，是否进入索引、以什么形式展现，取决于资源类型、可解析程度以及它被引用的程度。
不同资源类型的实际差异
PDF 和常见文档格式
PDF、DOC、PPT 这类文档，主流搜索引擎大多能提取正文并建立索引，有时会作为独立结果出现。但它们的排名表现通常弱于同主题的 HTML 页面，且更新、改版后重新抓取的频率也更低。如果文档是核心内容，建议同时提供一个 HTML 版本页面，把文档作为补充。
图片和视频
图片一般进入图片索引，视频进入视频索引，和网页索引是两套体系。能被抓到的前提是图片地址本身可访问、没有被热链保护或 CDN 规则拦住。图片文件名、周边文字、alt 属性会影响理解，但图片文件本身不能承载链接，所以它无法成为跳转的中间跳板。
压缩包、安装包和大文件
这类资源多数不会被索引。蜘蛛可能只请求了响应头就放弃，也可能因为体积过大中途断开。它们还会明显消耗抓取配额和带宽，把多个大文件链接堆在同一个入口页上，容易挤占其他目标 URL 的抓取机会。如果并不希望它们被收录，用 robots.txt 或 X-Robots-Tag 明确屏蔽，比放任被抓更省事。
容易被忽略的响应头细节
- Content-Type：返回正确的类型，返回 application/octet-stream 常被当成未知下载文件处理。
- Content-Disposition: attachment：强制下载的响应，部分抓取程序会当作下载行为，不再解析内容。
- X-Robots-Tag: noindex：只影响索引，不影响抓取，想连抓取一起挡住要配合 robots.txt。
- 状态码：返回 200 才正常。跳转到登录页、跳到首页或直接 403，都会让抓取停在原地。
入口页这一侧要注意什么
- 链接锚文本写清楚资源内容，不要全是“点击下载”“查看附件”。
- 单个入口页不要同时堆大量大文件链接，按主题拆分。
- 重要文档可以同时放进 sitemap，减少对入口页抓取频次的依赖。
- 控制文件体积，能压缩就压缩，避免超时导致抓取中断。
用日志做一次简单排查
- 确认入口页本身是否被访问，以及返回的是什么状态码。
- 确认该次抓取是否跟着请求了目标资源 URL。
- 查看目标 URL 的返回码、Content-Type 和响应大小是否异常。
- 检查 robots.txt、响应头和站点的访问控制有没有拦住它。
抓取和收录是两件事，非 HTML 资源尤其如此。入口页数量、链接投放在这里能起的作用有限，最终还是要看资源本身是否可访问、可解析。
总结下来：非 HTML 资源会被请求，但不一定被索引；想让它有机会进入索引，前提是 URL 可正常访问、类型声明正确、没有被规则屏蔽，并且内容本身有被引用的价值。把这些基础条件捋顺，比单纯增加入口页数量更实际。