标签：爬虫路径

抓取深度与链接层级：URL 离首页几跳还能被搜索蜘蛛发现

抓取深度决定了 URL 被发现的机会大小。本文梳理层级是如何计算的、哪些常见站内结构会把详情页越推越深，以及把核心 URL 拉回浅层的具体做法，并给出用抓取日志核对真实深度的思路。