蜘
蜘蛛池的 robots.txt 與 meta 規則：哪些该放行，哪些该挡住
robots.txt 和 meta robots 常被放在蜘蛛池搭建的最後一步，却直接决定蜘蛛在入口頁能走多遠。本文梳理入口頁常用的放行策略，說明 noindex、follow 與 X-Robots-Tag 的适用场景，並列出路径大小寫、通配符誤伤、誤挡 CSS 等常见坑，附上上线前後的检查建议。
阅讀全文 →站
站点运营：noindex 與 X-Robots-Tag，抓取指令別只寫在一處
頁面要不要被索引，靠的不只是 head 里那行 meta。noindex 既能寫在 HTML 里，也能通過 X-Robots-Tag 响應头投递，非 HTML 资源只能用後者。本文梳理两個投递位置的差別、常用指令的寫法，以及 robots.txt 屏蔽與 noindex 混用、前端注入等常见矛盾，並给出一份可执行的自查清單。
阅讀全文 →蜘
蜘蛛池的拦截規則：robots.txt 與 meta robots 寫错，入口也白搭
搭建蜘蛛池时，入口連結和域名數量常被反复打磨，robots.txt 與 meta robots 却容易被忽略。這两處属于一票否决型配置，寫错一個字符就可能让蜘蛛在门口掉头。本文梳理常见寫错方式、頁面級開關的用法，以及上线前可执行的核查清單。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從meta robots标簽的冲突規避谈起
meta robots标簽的正确與否，直接影响搜尋蜘蛛對站点URL的發現效率。本文從常见的noindex/nofollow誤用、冲突配置和Sitemap不一致等场景出發，结合蜘蛛池模拟驗證，给出让URL通路保持顺畅的實用建议。
阅讀全文 →