常
蜘蛛池入口页写了 noindex,搜索蜘蛛还会跟进里面的链接吗?
很多蜘蛛池入口页会用 meta robots 的 noindex 把自身挡在索引之外,于是就有了这个疑问:页面不收录了,里面的链接还会不会被跟进?本文区分 noindex 与 nofollow 的作用范围,说明抓取与索引的关系、不同写法对链接发现的影响,以及哪些入口页适合屏蔽自身。
阅读全文 →共找到 1 篇与“链接跟进”相关的文章。
很多蜘蛛池入口页会用 meta robots 的 noindex 把自身挡在索引之外,于是就有了这个疑问:页面不收录了,里面的链接还会不会被跟进?本文区分 noindex 与 nofollow 的作用范围,说明抓取与索引的关系、不同写法对链接发现的影响,以及哪些入口页适合屏蔽自身。
阅读全文 →