蜘
蜘蛛池的 robots.txt 与 meta 规则：哪些该放行，哪些该挡住
robots.txt 和 meta robots 常被放在蜘蛛池搭建的最后一步，却直接决定蜘蛛在入口页能走多远。本文梳理入口页常用的放行策略，说明 noindex、follow 与 X-Robots-Tag 的适用场景，并列出路径大小写、通配符误伤、误挡 CSS 等常见坑，附上上线前后的检查建议。
阅读全文 →站
站点运营：noindex 与 X-Robots-Tag，抓取指令别只写在一处
页面要不要被索引，靠的不只是 head 里那行 meta。noindex 既能写在 HTML 里，也能通过 X-Robots-Tag 响应头投递，非 HTML 资源只能用后者。本文梳理两个投递位置的差别、常用指令的写法，以及 robots.txt 屏蔽与 noindex 混用、前端注入等常见矛盾，并给出一份可执行的自查清单。
阅读全文 →蜘
蜘蛛池的拦截规则：robots.txt 与 meta robots 写错，入口也白搭
搭建蜘蛛池时，入口链接和域名数量常被反复打磨，robots.txt 与 meta robots 却容易被忽略。这两处属于一票否决型配置，写错一个字符就可能让蜘蛛在门口掉头。本文梳理常见写错方式、页面级开关的用法，以及上线前可执行的核查清单。
阅读全文 →站
站点运营：搜索蜘蛛的URL发现，从meta robots标签的冲突规避谈起
meta robots标签的正确与否，直接影响搜索蜘蛛对站点URL的发现效率。本文从常见的noindex/nofollow误用、冲突配置和Sitemap不一致等场景出发，结合蜘蛛池模拟验证，给出让URL通路保持顺畅的实用建议。
阅读全文 →