很多站点的抓取問题不在正文頁，而在图片、视频和附件這些「配角」身上。它們体积大、路径杂、加载方式多變，一旦處理不当，蜘蛛會在這些资源上花掉不少時間，却拿不到多少有價值的内容。
图片：让蜘蛛能找到、也能理解
图片被抓取通常依赖两個條件：頁面里的 img 标簽能被解析，以及图片地址本身可訪問，不需要登入或額外的請求头。
懒加载要留意首屏
用 JavaScript 做懒加载时，如果首屏图片的 src 是占位图，真實地址寫在 data-src 里，蜘蛛看到的往往還是那張占位图。常见做法是把首屏图片直接寫進 src，其余图片保留懒加载；或者同时给出 noscript 里的 img 标簽作為兜底。
文件名與 alt 是低成本的信息
- 文件名用简短的英文或拼音描述内容，避免 IMG_2031.jpg 這類無意义命名；
- alt 寫清楚图片表達的内容，不要堆砌關鍵詞；
- 图片尺寸保持在合理范围，超大原图對用戶和蜘蛛都不友好。
图片站点地图
如果站内图片數量多、更新稳定，可以在 sitemap 的 url 节点下加 image 扩展，或者用獨立的图片站点地图把地址列出来。這不代表一定被收錄，但能给蜘蛛一個明确的入口。
视频與音频：頁面才是抓取入口
蜘蛛不會像用戶那样「播放」视频。能被抓取和理解的内容，通常是承载视频的那個頁面：标题、简介、时長、封面图和字幕文本。
- 每個视频尽量有獨立的詳情頁，而不是全部塞在同一個列表頁里；
- 頁面上给出文字說明，让蜘蛛知道這段视频讲了什么；
- 使用自建播放器时，確認播放地址不會因為權限校驗而返回 403；
- 如果嵌入第三方平台，至少保證 iframe 之外的頁面文字信息是完整的。
附件與下载文件：別让大文件吃掉抓取
PDF、Excel、压缩包這類文件，蜘蛛通常不會深入解析内容，但會請求它們。如果站内有大量体积巨大的附件，又被内鏈反复引用，抓取和带宽都會受影响。
- 確認哪些附件是真正需要對外公開的；
- 僅供内部使用的文件放到需要權限的目錄，用 robots.txt 或訪問控制挡住；
- 下载文件尽量集中在獨立目錄，便于统一管理和後續观察；
- 检查是否存在舊版本附件被反复引用，及时替換成最新地址。
媒体资源的原則很简單：能被用戶正常看到的内容，也應该能被蜘蛛正常請求到；不该公開的，就在服務器层面挡掉，而不是指望蜘蛛「看不见」。
一個简單的自查顺序
- 随机挑十個頁面，用抓取工具查看 HTML 源碼里图片的真實地址；
- 翻服務器日誌，看图片和附件的請求是否出現大量 404 或 403；
- 確認媒体资源没有和正文頁共用同一批容易被封禁的路径；
- 更新一批媒体资源後，隔几天再看一次抓取记錄，確認請求行為正常。
媒体资源不是站点运营的主角，但它們决定了蜘蛛在站内的時間花在哪里。把路径理清楚、把不该公開的挡住，通常比追求「每個文件都被收錄」更有意义。