搭建蜘蛛池时，很多人預設“入口頁里的連結一定是普通網頁”。但實际操作中，入口頁上的連結经常指向各種非 HTML 资源：一份 PDF 白皮书、一張商品图、一個後端返回 JSON 的接口地址。于是問题就来了——搜尋蜘蛛讀到這些連結後，是會繼續抓取，還是直接跳過？
先分清两件事：抓取资源 vs 發現 URL
搜尋蜘蛛的工作可以粗略拆成两步：先把 URL 放進待抓队列，然後按队列去請求。連結只要被解析出来，通常就完成了“URL 發現”這一步，不管連結指向的是網頁、文档還是图片。至于後續會不會真的發出請求、請求几次，属于抓取調度的問题。
換句话说，連結指向什么類型，主要影响的是“抓回去之後怎么處理”，而不是“要不要發現它”。
常见资源類型分別會怎样
PDF 和其他文档
PDF 是比較特殊的一類。主流搜尋引擎對 PDF 有专门的解析能力，能提取正文、标题和文档内的連結。所以入口頁里放一個指向 PDF 的連結，被發現的概率不低，甚至可能被当成一個獨立的结果展示。但要注意，PDF 里的連結解析质量通常不如 HTML，文档排版混乱、掃描图片型 PDF 基本提不出有效連結。
图片、视频等二進制文件
图片和视频文件本身没有可解析的超連結结构。蜘蛛可以請求它們、记錄它們的存在，但很难從里面再“顺着爬”到別的 URL。如果你把入口頁做成一張寫着網址的图片，指望蜘蛛讀图抓取，實际效果非常不可控，不建议依赖這種方式做 URL 發現。
JSON 和接口地址
後端接口返回的是資料，不是頁面。蜘蛛請求到這類地址时，通常拿不到可索引的内容，也不會把返回体里的字段当成連結去跟進。更麻烦的是，接口往往带有參數、需要鉴權或對請求频率敏感，被反复請求還可能影响正常业務。把接口地址放進入口頁連結，多半是無效動作。
能抓取不等于會被收錄
這是最容易被誤解的一点。蜘蛛發現了 PDF 或图片，可能确實去請求了一两次，但這只說明抓取發生了。會不會進入索引、能不能带来搜尋流量，取决于内容质量、是否有重复内容、robots 規則、頁面结构等一整套判断，和“蜘蛛抓没抓”是两碼事。
所以不要因為日誌里出現了對某個 PDF 的請求，就認定這個资源已经被收錄。
把非 HTML 资源当入口頁时的實际建议
- 優先用 HTML 承载連結。URL 發現的效率，普通 HTML 頁面依然最高，連結清晰、层級明确。
- PDF 可以做补充，不要做主力。如果确實有文档资源，保證它是文本型 PDF，並在頁面上同时给出 HTML 版本的入口。
- 避免把接口地址当連結。接口地址放在入口頁里，對發現目标 URL 基本没有帮助，還可能带来異常請求。
- 图片和视频配合 sitemap 使用。這類资源更适合通過站点地图声明，而不是指望入口頁連結被顺着抓取。
怎么驗證有没有真的發生
- 在服務器日誌里按 URL 過滤，看非 HTML 资源的請求是否来自搜尋蜘蛛的 UA 和 IP 段。
- 观察請求频次：只出現一两次，通常說明只是被试探性抓取，不代表進入索引流程。
- 在搜尋控制台之類的工具里查看资源报告，区分“已抓取”和“已收錄”两種狀態。
把“蜘蛛来抓過”直接等同于“已经被收錄”，是蜘蛛池运营中最常见的誤判之一。抓取是過程，收錄是结果，两者中間還有不少判断环节。
總结一下：入口頁連結指向 PDF、图片或接口，搜尋蜘蛛未必完全不理會，但只有 HTML 頁面和文本型文档才具备稳定的 URL 传递能力。做蜘蛛池和 URL 發現时，把主要精力放在结构清晰、可解析的 HTML 入口頁上，才是最省力的做法。