蜘
蜘蛛池入口頁的 noindex、nofollow 與 canonical：三個容易被模板預設值坑到的标簽
入口頁能被蜘蛛抓到，不代表它會按你期望的方式被對待。noindex、nofollow、canonical 這三個标簽常常随模板或建站程序預設值一起上线，悄悄改變蜘蛛對頁面的判断。本文拆解三者各自的含义、常见来源和自查方法。
阅讀全文 →蜘
蜘蛛池的 robots.txt 與 meta 指令：哪些配置會把自己的路堵住
蜘蛛池入口頁除了内容，還有一层看不见的指令：robots.txt、meta robots、canonical。它們不决定爬虫来不来，却决定爬虫能不能走通。本文梳理這些指令的常见用法與誤用，包括 noindex 與 Disallow 的区別、nofollow 的風險、canonical 的邊界，並给出一套可參考的配置组合與驗證思路。
阅讀全文 →蜘
蜘蛛池入口頁的 meta 标簽：canonical、robots 與 noindex 该怎么设
入口頁的 meta 标簽容易被忽略，但它們會影响蜘蛛對頁面的判定和後續抓取。本文梳理 robots、canonical、noindex 在蜘蛛池入口頁上的常见用法，說明哪些组合會互相抵消，以及設定後该從日誌和索引狀態里检查什么。
阅讀全文 →蜘
蜘蛛池入口頁的 robots 與 meta 标簽：別让蜘蛛到了门口又走
蜘蛛池入口頁能否被持續抓取，往往不取决于服務器，而取决于 robots.txt、meta robots 和 canonical 這些頁面級标簽。本文梳理三類常见誤伤、noindex 與 nofollow 的区別、canonical 指向错誤的连带影响，並给出上线前可逐項核對的检查清單，帮助减少蜘蛛到了入口頁却不再深入的情况。
阅讀全文 →蜘
蜘蛛池入口頁的 meta 标簽：canonical、noindex 與 X-Robots-Tag 的使用邊界
入口頁的 meta 标簽决定蜘蛛抓到頁面之後怎么處理，是留在索引里還是只当一條通路。本文把抓取控制、重复归並、展示控制三類指令分開讲，說明 canonical 的使用底线、noindex 與 nofollow 的区別、X-Robots-Tag 與 meta 的關系，並整理常见誤区與上线前检查項。
阅讀全文 →