搜
搜索蜘蛛抓取量下滑：从抓取日志到服务器稳定的分阶段排查
抓取量下滑时，先分清是全局还是局部问题。本文按抓取日志、服务器响应、内链入口、Sitemap 一致性四个层面给出排查顺序，并说明恢复期应当如何观察趋势，避免在波动期盲目改结构。
阅读全文 →搜
搜索蜘蛛URL发现：用访问日志复盘抓取频次与入口优先级
Sitemap只能说明你提交了什么，访问日志才能反映蜘蛛实际走了哪些路径。本文从日志字段入手，讲清如何区分真实蜘蛛请求、判断入口优先级，并针对新URL发现慢、老页面反复被抓等现象给出可落地的调整动作与观察周期。
阅读全文 →