在蜘蛛池的日常运营里，robots.txt 和 nofollow 常被当成“次要配置”——很多人只在建站时随手写一段，之后就不再看第二眼。但对搜索蜘蛛来说，这两者属于最前置的指令：在它决定抓不抓、跟不跟之前，先要读这些规则。规则写错了，入口页本身再规范，也可能拿不到预期的来访。
robots.txt 管的是“能不能抓”，不是“能不能收录”
这是最容易被混淆的一点。robots.txt 限制的是抓取行为，不直接等于收录开关。一个 URL 被 Disallow 之后，蜘蛛通常不会去取页面内容，也就很难判断页面到底写了什么；如果它从别处拿到链接，甚至可能只凭锚文本建立一条无正文的记录。
- Disallow 针对路径前缀：写 /tmp/ 会连带影响 /tmp-a/ 这类同前缀目录，路径末尾是否带斜杠要写清楚。
- Allow 可以局部放行：在整体屏蔽某个目录时，若确实希望蜘蛛碰到其中少数入口页，可用更长的 Allow 路径覆盖。
- 通配符与结尾符：多数主流蜘蛛支持 * 与 $，但不保证所有抓取工具都遵循，别把关键逻辑全押在通配上。
- 不要用 robots.txt 处理重复内容：屏蔽参数页、排序页更适合用 canonical 或参数处理规则，屏蔽只是让蜘蛛看不到，问题并没有解决。
nofollow 的几种写法，作用层面并不相同
页面级：meta robots 与 X-Robots-Tag
写在页面 head 里的 meta robots 或响应头里的 X-Robots-Tag，作用对象是整个页面上的所有链接。它表达的是“这一页里的链接不必跟进”。对蜘蛛池来说要特别小心：如果某类模板页统一带了 nofollow，那么经由它扩散出去的入口页链接，跟进意愿会明显下降。
链接级：rel 属性的三种取值
- rel="nofollow"：最常用，表示不推荐蜘蛛跟进这条链接，多用于不可控的第三方内容。
- rel="ugc"：用于用户生成内容里的链接，语义上仍属于不推荐跟进的一类。
- rel="sponsored"：用于付费或商业合作链接。
三者在“是否跟链”上的实际表现接近，差别更多在于语义标注。需要注意的是，蜘蛛仍可能抓取这些链接指向的 URL，只是不把它当作推荐信号。所以把 nofollow 当成“彻底阻断”是不准确的。
三个常见误区
- 把 nofollow 当作防抓手段：它不阻止抓取，只影响推荐含义；要阻止抓取，应该用 robots.txt 或登录墙。
- 临时改动不清理：测试期把整站 Disallow，上线后忘记删掉，蜘蛛会在相当长一段时间内不再来访，恢复需要时间。
- 入口页模板自带 nofollow：很多建站模板为了“安全”，默认给页脚、侧栏链接加 nofollow，结果蜘蛛池最需要跟进的几条路径恰好被压住了。
上线前值得核对的几个动作
- 直接访问 /robots.txt，确认返回 200 且内容是当前版本，不要出现旧缓存。
- 用抓取工具模拟蜘蛛身份，看它实际拿到的 HTML 里，目标链接是否带 rel 属性。
- 检查页面响应头里是否残留 X-Robots-Tag: noindex 或 nofollow。
- 把 robots.txt 的改动记入运营日志，标注时间与影响范围，方便回溯来访波动。
- 对不再使用的测试路径，及时删除对应规则，避免规则越堆越乱、互相覆盖。
robots.txt 和 nofollow 不是“设一次就完事”的开关，而是会长期影响蜘蛛来访路径的基础设施。规则越简单、越贴近真实意图，排查问题时的变量就越少。