标签：爬虫容量

抓取陷阱：URL 无限展开时蜘蛛会怎么走

站点在分页、筛选、会话参数上稍有不慎，就会生成可以无限展开的 URL，让蜘蛛顺着链接一路爬下去。本文拆解几类常见的抓取陷阱，说明它们如何挤占抓取容量，并给出从日志识别、参数收口到 robots 与 canonical 配合的处理思路。