网
URL 层级越深越难收录吗:站点结构与爬取深度的关系
蜘蛛发现新 URL 主要还是顺着链接一层层走,页面放在第几层,往往决定了它被发现的快慢和回访频率。本文说说层级过深会带来哪些实际问题,哪些情况下深层级影响不大,以及怎么判断站点结构是否需要调整——重点不是砍目录,而是给重要页面补上更短的入口。
阅读全文 →共找到 1 篇与“爬取深度”相关的文章。
蜘蛛发现新 URL 主要还是顺着链接一层层走,页面放在第几层,往往决定了它被发现的快慢和回访频率。本文说说层级过深会带来哪些实际问题,哪些情况下深层级影响不大,以及怎么判断站点结构是否需要调整——重点不是砍目录,而是给重要页面补上更短的入口。
阅读全文 →