标签：爬虫缓存

robots.txt 改动之后：蜘蛛多久才会按新规则走

改完 robots.txt 发现蜘蛛还在抓旧路径，或者原本正常的页面突然进不来了，这类情况多半不是规则写错，而是缓冲时间与解析差异。本文说明蜘蛛读取 robots.txt 的节奏、返回码带来的不同处理，以及怎样用日志确认改动是否已经生效。