标签：抓取限制

入口页 HTML 体积太大、重要链接沉在底部，搜索蜘蛛会读不到吗

抓取器对单次响应的解析字节数通常有上限，HTML 越大，越靠后的链接被解析到的概率越低。本文说明体积和链接位置如何影响 URL 发现，给出量体积、看偏移、做对照测试的方法，以及链接前置、精简页面、分块和 sitemap 兜底的调整思路。