大多數站点在讨论URL發現时，注意力都放在文章頁和栏目頁上，而PDF、压缩包、表格模板、图片原图這類附件资源，往往被預設成“顺便就能被抓到”。實际情况是，這些资源的入口常常藏在下载按钮、彈窗或者後端接口里，搜尋蜘蛛走不到，用戶也很难通過連結分享出去。
為什么附件連結经常断在入口上
頁面上的下载行為，實現方式差別很大。有的站点用一個普通超連結直接指向文件地址，蜘蛛顺着 href 就能走到；有的站点用按钮加脚本监听，点击之後才動態拼接地址並触發下载，頁面源碼里没有任何可抓取的URL。前者天然可發現，後者基本等于把资源藏了起来。差別不在文件本身，而在于它有没有被寫成一條連結。
几種常见但容易忽略的情况
- 下载按钮只绑定了脚本事件：源碼中看不到文件地址，抓取工具拿不到入口。
- 资源目錄被整体屏蔽：早期為了省流量，把 /uploads 或 /files 整段寫進 robots.txt 的 Disallow，结果文件全部無法被發現。
- 文件挂在獨立CDN域名上：地址與主站不同域，主站的站点地图、内鏈、面包屑都覆盖不到它。
- 文件命名随意：一長串哈希值或者编碼混乱的字符，地址本身没有语义，分享出去也不易辨認。
- 同一文件存在多個地址：带版本号、带時間戳、带下载来源參數，产生一批内容相同但URL不同的近似重复頁面。
- 响應头直接触發下载：返回头里带了 attachment，浏览器不渲染，爬虫對這類响應的處理表現也各不相同。
让附件资源重新回到可發現范围
處理思路和普通頁面是一套逻辑，只是需要有人专门盯一下附件這條线。
- 為重要的文件配一個稳定的詳情頁或列表條目，頁面上用普通超連結指向文件地址，而不是只放一個按钮。
- 在栏目頁、正文、相關推荐里做适当的内部連結，保證每個文件至少有一條可被抓取的路径，避免形成孤岛。
- 检查服務器配置，確認文件目錄没有被 robots.txt、X-Robots-Tag 或訪問權限挡住。
- 把有價值的PDF、文档、原图补充進站点地图，必要时使用站点地图的图片或视频扩展。
- 统一文件命名規則，去掉随机串；同一份内容只保留一個規范地址，其余做跳轉或不再對外暴露。
- 文件托管在獨立域名时，留意该域名的解析、證书與超时設定是否稳定，避免蜘蛛到這里就停下。
不必强求每個附件都被收錄
並不是所有附件都值得出現在搜尋结果里。安装包、内部报表、体积很大的视频，即使被收錄，带来的多半也是無效流量，還會占用抓取资源。真正需要投入的是那些對用戶有參考價值、能被稳定引用的文件：規范文档、模板、样例資料、說明手册。對這部分资源，入口清晰、地址稳定、响應及时，比單纯追求數量更有意义。
附件资源的URL發現，和普通頁面遵循同一套規則：有一個能被顺着走到的連結，地址尽量唯一稳定，服務器不要中途拦截。区別只在于，頁面通常有人持續维護，而附件往往是运营中被遗忘的那一部分。