搭建蜘蛛池时，很多人默认“入口页里的链接一定是普通网页”。但实际操作中，入口页上的链接经常指向各种非 HTML 资源：一份 PDF 白皮书、一张商品图、一个后端返回 JSON 的接口地址。于是问题就来了——搜索蜘蛛读到这些链接后，是会继续抓取，还是直接跳过？
先分清两件事：抓取资源 vs 发现 URL
搜索蜘蛛的工作可以粗略拆成两步：先把 URL 放进待抓队列，然后按队列去请求。链接只要被解析出来，通常就完成了“URL 发现”这一步，不管链接指向的是网页、文档还是图片。至于后续会不会真的发出请求、请求几次，属于抓取调度的问题。
换句话说，链接指向什么类型，主要影响的是“抓回去之后怎么处理”，而不是“要不要发现它”。
常见资源类型分别会怎样
PDF 和其他文档
PDF 是比较特殊的一类。主流搜索引擎对 PDF 有专门的解析能力，能提取正文、标题和文档内的链接。所以入口页里放一个指向 PDF 的链接，被发现的概率不低，甚至可能被当成一个独立的结果展示。但要注意，PDF 里的链接解析质量通常不如 HTML，文档排版混乱、扫描图片型 PDF 基本提不出有效链接。
图片、视频等二进制文件
图片和视频文件本身没有可解析的超链接结构。蜘蛛可以请求它们、记录它们的存在，但很难从里面再“顺着爬”到别的 URL。如果你把入口页做成一张写着网址的图片，指望蜘蛛读图抓取，实际效果非常不可控，不建议依赖这种方式做 URL 发现。
JSON 和接口地址
后端接口返回的是数据，不是页面。蜘蛛请求到这类地址时，通常拿不到可索引的内容，也不会把返回体里的字段当成链接去跟进。更麻烦的是，接口往往带有参数、需要鉴权或对请求频率敏感，被反复请求还可能影响正常业务。把接口地址放进入口页链接，多半是无效动作。
能抓取不等于会被收录
这是最容易被误解的一点。蜘蛛发现了 PDF 或图片，可能确实去请求了一两次，但这只说明抓取发生了。会不会进入索引、能不能带来搜索流量，取决于内容质量、是否有重复内容、robots 规则、页面结构等一整套判断，和“蜘蛛抓没抓”是两码事。
所以不要因为日志里出现了对某个 PDF 的请求，就认定这个资源已经被收录。
把非 HTML 资源当入口页时的实际建议
- 优先用 HTML 承载链接。URL 发现的效率，普通 HTML 页面依然最高，链接清晰、层级明确。
- PDF 可以做补充，不要做主力。如果确实有文档资源，保证它是文本型 PDF，并在页面上同时给出 HTML 版本的入口。
- 避免把接口地址当链接。接口地址放在入口页里，对发现目标 URL 基本没有帮助，还可能带来异常请求。
- 图片和视频配合 sitemap 使用。这类资源更适合通过站点地图声明，而不是指望入口页链接被顺着抓取。
怎么验证有没有真的发生
- 在服务器日志里按 URL 过滤，看非 HTML 资源的请求是否来自搜索蜘蛛的 UA 和 IP 段。
- 观察请求频次：只出现一两次，通常说明只是被试探性抓取，不代表进入索引流程。
- 在搜索控制台之类的工具里查看资源报告，区分“已抓取”和“已收录”两种状态。
把“蜘蛛来抓过”直接等同于“已经被收录”，是蜘蛛池运营中最常见的误判之一。抓取是过程，收录是结果，两者中间还有不少判断环节。
总结一下：入口页链接指向 PDF、图片或接口，搜索蜘蛛未必完全不理会，但只有 HTML 页面和文本型文档才具备稳定的 URL 传递能力。做蜘蛛池和 URL 发现时，把主要精力放在结构清晰、可解析的 HTML 入口页上，才是最省力的做法。