直接给结论：只要入口页里写的是一个可解析的链接，搜索蜘蛛通常会顺着它去请求 PDF、图片、压缩包这类非 HTML 资源。但“被请求到”和“被当成网页收录”是两件事——前者看链接写法，后者看文件类型、响应头和站点规则。
搜索蜘蛛能抓的资源，比想象中多
主流搜索引擎的爬虫并不只抓 HTML。它们会按链接去取 PDF、Office 文档、图片、视频、纯文本等文件。抓到之后，不同资源进入不同的处理管线：有的进网页索引，有的进图片库，有的只作为理解页面的素材，还有的取完就丢。
所以“蜘蛛会不会跟过去”和“跟过去有什么用”要分开看。对做 URL 发现的人来说，第一层目标是让抓取请求真的到达目标地址，第二层才谈结果。
能不能被发现，先看链接写法
- 标准链接标签里的 href，蜘蛛最容易解析，也最可能进入抓取队列。
- 链接写在脚本里、靠点击才生成，发现难度明显上升。
- 纯文本 URL 没有链接语义，通常只当普通文字处理。
- 链接被 robots.txt 或页面级 nofollow 挡住时，可能根本不会发起请求。
换句话说，资源本身是什么类型，决定不了它会不会被发现；链接的形式才决定。
发现之后，不同文件类型的待遇差别很大
- PDF 和常见文档：有可能被索引，出现在搜索结果里，但抓取和渲染成本高，处理也更谨慎。
- 图片、视频：一般进入对应的垂直索引，参与图片或视频搜索，不等于给所在页面加分。
- 压缩包、安装包、可执行文件：蜘蛛多半会请求，但很少作为可检索内容处理，通常没有搜索入口。
- 日志、数据文件：多数只被当作普通请求，不会带来可见的收录价值。
这里有个常见误区：在抓取日志里看到蜘蛛请求了某个 PDF 或压缩包，就以为“已经被收录了”。日志只能证明抓取发生过，不能证明索引状态。
放在蜘蛛池入口页里，会有什么不同
蜘蛛池提供的是发现入口，不是收录通道。当你在入口页放资源链接，蜘蛛确实会沿着这条路径去请求目标地址。相比站内一层层往下爬，入口页直连的方式能让较深的资源更快被请求到。
但要注意两点：一是蜘蛛池改变的是发现路径，改变不了资源类型决定的处理方式；二是如果目标站自身对资源做了屏蔽，或返回了异常状态码，入口页再怎么投，请求也走不到有效内容。
实操建议
- 希望被检索的文档，尽量配上可读的文件名和一段说明文字，并在站内用正常链接指向它，而不是只放一个下载按钮。
- 不希望被抓的资源，用 robots.txt 或响应头明确控制，别指望蜘蛛自己判断取舍。
- 投放前先确认资源返回 200，且 Content-Type 与真实类型一致。
- 把蜘蛛池入口页的重点放在 HTML 目标页上，资源链接当成补充，不要本末倒置。
- 投放后核对服务器日志：请求是否到达、状态码是什么、抓的是入口页还是目标资源。
入口页决定蜘蛛能不能走到门口，文件类型和响应头决定它进门之后做什么。两者不能混为一谈。
回到最初的问题：搜索蜘蛛会跟，跟了之后的结果因资源而异。把“发现”和“处理”分开来看待，比一直纠结能不能收录更有用。