網
服務器响應慢對收錄的影响：几個可量化的检查点
响應速度不會直接决定一個頁面能否被收錄，但它會改變爬虫的抓取节奏。本文给出三個可以量化的观察点——TTFB、日誌响應時間分布、抓取频次與待抓取积压，並說明常见的慢速来源與處理顺序，帮助把“收錄變差”和“服務器變慢”這两件事分開判断。
阅讀全文 →網
一次上线多少頁面合适：發布节奏與索引压力的配合
批量上线頁面时，一次性放出几百個 URL 往往带来积压。本文從發現、抓取到進索引的流程出發，說明不同阶段站点适合的發布节奏、分批上线的具体做法，以及用哪些指标判断节奏是否合适，帮助把有限的處理能力用在核心頁面上。
阅讀全文 →