网
服务器响应慢对收录的影响：几个可量化的检查点
响应速度不会直接决定一个页面能否被收录，但它会改变爬虫的抓取节奏。本文给出三个可以量化的观察点——TTFB、日志响应时间分布、抓取频次与待抓取积压，并说明常见的慢速来源与处理顺序，帮助把“收录变差”和“服务器变慢”这两件事分开判断。
阅读全文 →网
一次上线多少页面合适：发布节奏与索引压力的配合
批量上线页面时，一次性放出几百个 URL 往往带来积压。本文从发现、抓取到进索引的流程出发，说明不同阶段站点适合的发布节奏、分批上线的具体做法，以及用哪些指标判断节奏是否合适，帮助把有限的处理能力用在核心页面上。
阅读全文 →