站
站点运营：Meta Robots 自查，别让该被发现的页面被自己屏蔽
Meta Robots 和 X-Robots-Tag 用错时，可能让蜘蛛看不到页面，或让不该收录的页面进入索引。本文从测试环境残留、分页筛选页、CMS 默认设置和多域名入口等常见场景入手，给出可执行的自查步骤，并说明 noindex 与 robots.txt 的区别，帮助站点运营减少低级抓取问题。
阅读全文 →蜘
蜘蛛池入口页的 robots 与 canonical：哪些写法会把蜘蛛挡在门外
蜘蛛池入口站能不能被蜘蛛抓取、抓到的页面算谁的，很大程度上取决于 robots.txt 与 canonical 的写法。本文按入口站、入口页、目标页三个层次，梳理整站 Disallow、noindex 误用、canonical 指错方向、nofollow 过度使用这几类常见问题，并给出一份上线前的检查清单，方便逐项对照排查。
阅读全文 →站
站点运营：noindex 自查，别让想被收录的页面自己贴上了封条
noindex 写在模板里，不报错也不影响用户访问，却可能让一批页面长期退出索引。本文梳理常见的误写方式、HTTP 头与 meta 的冲突、robots.txt 与 noindex 的搭配误区，并给出一份可执行的自查步骤，帮你在上线节点把这件事确认清楚。
阅读全文 →常
蜘蛛池入口页写了 noindex，搜索蜘蛛还会跟进里面的链接吗？
很多蜘蛛池入口页会用 meta robots 的 noindex 把自身挡在索引之外，于是就有了这个疑问：页面不收录了，里面的链接还会不会被跟进？本文区分 noindex 与 nofollow 的作用范围，说明抓取与索引的关系、不同写法对链接发现的影响，以及哪些入口页适合屏蔽自身。
阅读全文 →蜘
蜘蛛池里的 robots 与 meta：入口页该不该对蜘蛛开门
很多蜘蛛池站点一边想引蜘蛛，一边又在 robots.txt 或 meta 标签里把入口页挡掉。本文梳理 robots.txt、meta robots 和 X-Robots-Tag 的作用边界，说明入口页、目标页常见的配置误区，并给出可执行的检查清单。重点是先让抓取通道畅通，再谈内容与链接。
阅读全文 →蜘
蜘蛛池入口页的 robots 配置：哪些路径该放行，哪些该屏蔽
robots.txt 和 meta robots 是蜘蛛池里最容易被随手写坏的一层配置。本文区分几种 robots 指令的作用范围，说明入口页哪些路径该放行、哪些该屏蔽，nofollow 什么时候用，并附一份上线前检查清单，帮蜘蛛少走冤枉路。
阅读全文 →站
meta robots 与 X-Robots-Tag 自查：把“别抓我”的指令用对地方
meta robots 与 X-Robots-Tag 分别写在页面和响应头里，决定蜘蛛抓到内容之后如何处理。很多站点的 noindex 来自模板、插件或服务器配置，平时不易察觉。这篇文章梳理两类指令的区别、常见误用和一份可执行的自查清单，帮助你在不动正文的前提下，把该放的页面放开、该挡的页面挡住。
阅读全文 →蜘
蜘蛛池入口页的 robots 与 meta 指令：哪些设置会把蜘蛛劝退
蜘蛛池入口页的 robots.txt、meta robots、canonical 等指令，多半是从模板里复制过来的，一处写错就可能把蜘蛛挡在门外。本文梳理入口页该不该被索引、robots 常见写法错误、noindex 与 nofollow 的搭配关系，以及 canonical 指向目标页带来的隐患，并给出上线前的检查清单。
阅读全文 →站
站点运营：robots.txt 与 meta robots 自查，别让两套指令互相打架
robots.txt 管抓取，meta robots 管索引，两者用错会互相抵消：屏蔽后的页面读不到 noindex，想删的删不掉，想放行的又被挡住。本文梳理常见的几组冲突、写指令前该确认的目的，以及一份可照做的自查清单和验证方法。
阅读全文 →蜘
蜘蛛池入口页的 robots 与 meta robots：哪些该放开，哪些该收紧
蜘蛛池入口页常被忽略的一环是 robots 配置。本文讲清 robots.txt 与 meta robots 的作用范围差异，入口页该放开什么、收紧什么，Crawl-delay、Sitemap 声明、X-Robots-Tag 等细节，以及上线前后的检查清单和几个常见误区。
阅读全文 →