站
站点运营：Meta Robots 自查，別让该被發現的頁面被自己屏蔽
Meta Robots 和 X-Robots-Tag 用错时，可能让蜘蛛看不到頁面，或让不该收錄的頁面進入索引。本文從測試环境残留、分頁篩選頁、CMS 預設設定和多域名入口等常见场景入手，给出可执行的自查步骤，並說明 noindex 與 robots.txt 的区別，帮助站点运营减少低級抓取問题。
阅讀全文 →蜘
蜘蛛池入口頁的 robots 與 canonical：哪些寫法會把蜘蛛挡在门外
蜘蛛池入口站能不能被蜘蛛抓取、抓到的頁面算谁的，很大程度上取决于 robots.txt 與 canonical 的寫法。本文按入口站、入口頁、目标頁三個层次，梳理整站 Disallow、noindex 誤用、canonical 指错方向、nofollow 過度使用這几類常见問题，並给出一份上线前的检查清單，方便逐項對照排查。
阅讀全文 →站
站点运营：noindex 自查，別让想被收錄的頁面自己贴上了封條
noindex 寫在模板里，不报错也不影响用戶訪問，却可能让一批頁面長期登出索引。本文梳理常见的誤寫方式、HTTP 头與 meta 的冲突、robots.txt 與 noindex 的搭配誤区，並给出一份可执行的自查步骤，帮你在上线节点把這件事確認清楚。
阅讀全文 →常
蜘蛛池入口頁寫了 noindex，搜尋蜘蛛還會跟進里面的連結吗？
很多蜘蛛池入口頁會用 meta robots 的 noindex 把自身挡在索引之外，于是就有了這個疑問：頁面不收錄了，里面的連結還會不會被跟進？本文区分 noindex 與 nofollow 的作用范围，說明抓取與索引的關系、不同寫法對連結發現的影响，以及哪些入口頁适合屏蔽自身。
阅讀全文 →蜘
蜘蛛池里的 robots 與 meta：入口頁该不该對蜘蛛開门
很多蜘蛛池站点一邊想引蜘蛛，一邊又在 robots.txt 或 meta 标簽里把入口頁挡掉。本文梳理 robots.txt、meta robots 和 X-Robots-Tag 的作用邊界，說明入口頁、目标頁常见的配置誤区，並给出可执行的检查清單。重点是先让抓取通道畅通，再谈内容與連結。
阅讀全文 →蜘
蜘蛛池入口頁的 robots 配置：哪些路径该放行，哪些该屏蔽
robots.txt 和 meta robots 是蜘蛛池里最容易被随手寫坏的一层配置。本文区分几種 robots 指令的作用范围，說明入口頁哪些路径该放行、哪些该屏蔽，nofollow 什么时候用，並附一份上线前检查清單，帮蜘蛛少走冤枉路。
阅讀全文 →站
meta robots 與 X-Robots-Tag 自查：把“別抓我”的指令用對地方
meta robots 與 X-Robots-Tag 分別寫在頁面和响應头里，决定蜘蛛抓到内容之後如何處理。很多站点的 noindex 来自模板、插件或服務器配置，平时不易察觉。這篇文章梳理两類指令的区別、常见誤用和一份可执行的自查清單，帮助你在不動正文的前提下，把该放的頁面放開、该挡的頁面挡住。
阅讀全文 →蜘
蜘蛛池入口頁的 robots 與 meta 指令：哪些設定會把蜘蛛劝退
蜘蛛池入口頁的 robots.txt、meta robots、canonical 等指令，多半是從模板里複製過来的，一處寫错就可能把蜘蛛挡在门外。本文梳理入口頁该不该被索引、robots 常见寫法错誤、noindex 與 nofollow 的搭配關系，以及 canonical 指向目标頁带来的隐患，並给出上线前的检查清單。
阅讀全文 →站
站点运营：robots.txt 與 meta robots 自查，別让两套指令互相打架
robots.txt 管抓取，meta robots 管索引，两者用错會互相抵消：屏蔽後的頁面讀不到 noindex，想删的删不掉，想放行的又被挡住。本文梳理常见的几组冲突、寫指令前该確認的目的，以及一份可照做的自查清單和驗證方法。
阅讀全文 →蜘
蜘蛛池入口頁的 robots 與 meta robots：哪些该放開，哪些该收紧
蜘蛛池入口頁常被忽略的一环是 robots 配置。本文讲清 robots.txt 與 meta robots 的作用范围差异，入口頁该放開什么、收紧什么，Crawl-delay、Sitemap 声明、X-Robots-Tag 等细节，以及上线前後的检查清單和几個常见誤区。
阅讀全文 →