标簽：爬虫缓存

robots.txt 改動之後：蜘蛛多久才會按新規則走

改完 robots.txt 發現蜘蛛還在抓舊路径，或者原本正常的頁面突然進不来了，這類情况多半不是規則寫错，而是缓冲時間與解析差异。本文說明蜘蛛讀取 robots.txt 的节奏、返回碼带来的不同處理，以及怎样用日誌確認改動是否已经生效。