标簽：响應头配置

蜘蛛池入口頁的 X-Robots-Tag 寫在响應头里，搜尋蜘蛛還會顺着連結抓目标 URL 吗

X-Robots-Tag 只作用于返回该响應头的那個 URL，不會直接改寫目标 URL 的抓取規則。但入口頁一旦被 noindex 或 nofollow，回訪频率和連結發現效率都會變化，進而影响目标 URL 被發現的节奏。本文說明指令差异、常见誤区和驗證方法。