蜘
蜘蛛池入口页的分层管理:按抓取表现分组维护的思路
入口页一多,统一维护很容易把资源平均分给表现差异很大的页面。本文介绍按抓取表现给入口页分层的方法:用回访频次、响应质量和是否继续下行等信号分组,再决定链接分配、观察窗口与替换时机,让维护动作有据可依。
阅读全文 →共找到 1 篇与“抓取表现”相关的文章。
入口页一多,统一维护很容易把资源平均分给表现差异很大的页面。本文介绍按抓取表现给入口页分层的方法:用回访频次、响应质量和是否继续下行等信号分组,再决定链接分配、观察窗口与替换时机,让维护动作有据可依。
阅读全文 →