标簽：抓取吞吐

响應時間與抓取吞吐：頁面變慢之後，蜘蛛的抓取量去了哪里

蜘蛛抓取一個 URL 的時間，由连接建立、首字节等待、响應体传輸和超时重试共同构成。响應時間變長，占用的抓取窗口随之增加，入口頁變慢還會顺着抓取路径影响後續 URL 的發現。本文從日誌字段入手，给出從整体到個別的排查顺序和几個常见誤区。