标签：入口来源

搜索蜘蛛抓取：入口来源归类与爬取优先级判断的实操清单

抓取日志里每条蜘蛛请求都对应一个入口。本文说明如何把入口归为 Sitemap、内链、站外链接与历史路径四类，用时间序列和抓取路径做推断，并据此判断该补内链、收敛参数还是排查服务器响应问题。