标签：抓取解析

页面体积与解析成本：蜘蛛抓取 HTML 时的负担与优化核对

蜘蛛抓取 URL 之后还要下载并解析 HTML，页面体积、DOM 结构和资源组织方式会直接影响解析成本与抓取节奏。本文从 HTML 大小、内联脚本、DOM 深度、懒加载和传输压缩几个方面，说明如何核对页面负担，并在不牺牲链接可发现性的前提下做精简。