标签：抓取吞吐

响应时间与抓取吞吐：页面变慢之后，蜘蛛的抓取量去了哪里

蜘蛛抓取一个 URL 的时间，由连接建立、首字节等待、响应体传输和超时重试共同构成。响应时间变长，占用的抓取窗口随之增加，入口页变慢还会顺着抓取路径影响后续 URL 的发现。本文从日志字段入手，给出从整体到个别的排查顺序和几个常见误区。