搜
内链结构里的死胡同:蜘蛛走到页面尽头之后往哪走
蜘蛛抓取是一条条路径连起来的。如果某个页面抓到之后没有可继续跟随的有效链接,这条路径就停在原地。本文梳理死胡同页的常见形态、给末端页留出口的几种做法,以及怎么用抽样和日志判断自己的内链是不是把蜘蛛带进了断头路。
阅读全文 →共找到 1 篇与“死胡同页”相关的文章。
蜘蛛抓取是一条条路径连起来的。如果某个页面抓到之后没有可继续跟随的有效链接,这条路径就停在原地。本文梳理死胡同页的常见形态、给末端页留出口的几种做法,以及怎么用抽样和日志判断自己的内链是不是把蜘蛛带进了断头路。
阅读全文 →