标签：响应头配置

蜘蛛池入口页的 X-Robots-Tag 写在响应头里，搜索蜘蛛还会顺着链接抓目标 URL 吗

X-Robots-Tag 只作用于返回该响应头的那个 URL，不会直接改写目标 URL 的抓取规则。但入口页一旦被 noindex 或 nofollow，回访频率和链接发现效率都会变化，进而影响目标 URL 被发现的节奏。本文说明指令差异、常见误区和验证方法。