标签：子资源

子资源抓取：蜘蛛取走 HTML 之后还会下载什么

蜘蛛抓取并不止于 HTML 主文档，页面依赖的 CSS、JavaScript、图片等子资源同样可能被取走。本文说明这些资源为什么影响蜘蛛看到的页面、被屏蔽后会出什么问题，以及服务器侧的准备事项和一份自查清单。