标簽：抓取限制

入口頁 HTML 体积太大、重要連結沉在底部，搜尋蜘蛛會讀不到吗

抓取器對單次响應的解析字节數通常有上限，HTML 越大，越靠後的連結被解析到的概率越低。本文說明体积和連結位置如何影响 URL 發現，给出量体积、看偏移、做對照測試的方法，以及連結前置、精简頁面、分块和 sitemap 兜底的調整思路。