蜘
蜘蛛池入口页的 noindex、nofollow 与 canonical：三个容易被模板默认值坑到的标签
入口页能被蜘蛛抓到，不代表它会按你期望的方式被对待。noindex、nofollow、canonical 这三个标签常常随模板或建站程序默认值一起上线，悄悄改变蜘蛛对页面的判断。本文拆解三者各自的含义、常见来源和自查方法。
阅读全文 →蜘
蜘蛛池的 robots.txt 与 meta 指令：哪些配置会把自己的路堵住
蜘蛛池入口页除了内容，还有一层看不见的指令：robots.txt、meta robots、canonical。它们不决定爬虫来不来，却决定爬虫能不能走通。本文梳理这些指令的常见用法与误用，包括 noindex 与 Disallow 的区别、nofollow 的风险、canonical 的边界，并给出一套可参考的配置组合与验证思路。
阅读全文 →蜘
蜘蛛池入口页的 meta 标签：canonical、robots 与 noindex 该怎么设
入口页的 meta 标签容易被忽略，但它们会影响蜘蛛对页面的判定和后续抓取。本文梳理 robots、canonical、noindex 在蜘蛛池入口页上的常见用法，说明哪些组合会互相抵消，以及设置后该从日志和索引状态里检查什么。
阅读全文 →蜘
蜘蛛池入口页的 robots 与 meta 标签：别让蜘蛛到了门口又走
蜘蛛池入口页能否被持续抓取，往往不取决于服务器，而取决于 robots.txt、meta robots 和 canonical 这些页面级标签。本文梳理三类常见误伤、noindex 与 nofollow 的区别、canonical 指向错误的连带影响，并给出上线前可逐项核对的检查清单，帮助减少蜘蛛到了入口页却不再深入的情况。
阅读全文 →蜘
蜘蛛池入口页的 meta 标签：canonical、noindex 与 X-Robots-Tag 的使用边界
入口页的 meta 标签决定蜘蛛抓到页面之后怎么处理，是留在索引里还是只当一条通路。本文把抓取控制、重复归并、展示控制三类指令分开讲，说明 canonical 的使用底线、noindex 与 nofollow 的区别、X-Robots-Tag 与 meta 的关系，并整理常见误区与上线前检查项。
阅读全文 →