抓取日志里被忽视的“搜索来源”

运营蜘蛛池时，站长常常关注搜索引擎蜘蛛抓取了哪些重要栏目，却容易忽略一类特殊页面：站内搜索页。如果你在原始访问日志里按URL结构分类统计，可能会发现不少形如 /search?q=xxx 或 /search?keyword=xxx 的路径。它们不是用户主动访问产生的，而是蜘蛛通过某个链接找到后不断深入的结果。

从URL发现角度看，搜索引擎蜘蛛并不理解搜索框背后的交互逻辑。它只是沿着HTML里的href属性逐条爬行。一旦站内搜索结果页带上了可抓取的链接，比如“热门搜索”“相关推荐”，或者某个分页参数拼接成的完整链接，蜘蛛就会被导入一条看似无止境的路径。每次带有不同关键词的搜索URL，都会被视为一个新链接、一个可能的资源入口。

为什么说它是抓取黑洞

通常站内搜索页动态生成，参数可以无限组合。比如：/search?keyword=seo、/search?keyword=搜索引擎、/search?keyword=蜘蛛，每次查询结果都会生成一个新的URL。如果页面再输出“下一页”链接，那么翻页参数还会翻倍。对于蜘蛛来说，这些URL并没有明确的终止信号，它会像对待普通列表页一样，持续请求直到服务器响应变慢或超时。

这带来的直接后果是：抓取预算被占用。蜘蛛在同一站点上的抓取频次和总页面数是有配额的。如果大量请求集中在无实际排名的搜索页上，真正的产品页、文章页反而会被延后甚至漏抓。特别是在站点内容不深、更新频率不高的场景下，搜索页占比过大会让蜘蛛误以为站点缺乏新增价值，降低再次来访的意愿。

核心现象并不难观测：在爬虫访问最频繁的一百个URL中，如果超过两成是搜索参数页，就需要重视了。

确认问题：日志和规则的双重判断

在动手干预前，建议先对搜索引擎蜘蛛的访问日志做一次归类。你可以在解析日志时，单独提取包含搜索路径的请求地址，再统计关键词参数的个数、去重后的URL数量。如果存在大量带中文或无关词的搜索请求，且这部分请求带出的Content-Type是HTML，而不是JSON或重定向，说明蜘蛛确实在按普通HTML页面理解。

另外一个判断维度是看robots协议。有些站点会在robots里直接禁止一切搜索参数，但蜘蛛仍然可能从首页、栏目页底部“热门搜索”链接发现搜索URL，并绕过robots尝试抓取（robots只是指导而非硬性强制）。真正的控制点往往在于：搜索页是否存在于站内链接结构中。

治理思路：入口收敛、参数规范、输出控制

对站内搜索页进行治理，不能单纯罗列禁止规则，而要梳理出“不与蜘蛛硬碰硬”的路径优化办法。

• 搜索入口不参与正文链。站点页脚、侧栏的“热门搜索”若以a标签直接输出完整搜索URL，等于主动邀请蜘蛛进入。建议将这类入口改成JS触发，或者统一指向站内一个固定的搜索请求页（只含搜索框，不在同页显示结果）。避免把搜索结果URL直接暴露在主要链接体系中。
• 对搜索参数做有效性约束。如果采用GET方式传递搜索词，请在robots中只保留一个必需的参数，比如：Disallow: /search?*q= 比 Disallow: /search 更灵活。不过要注意，robots通配符的兼容性各引擎有差异，最好配合页面层面的Meta robots做双保险。
• 给搜索页加noindex, follow。在搜索结果的head区提供<meta name="robots" content="noindex,follow">。它告诉搜索引擎：请不要把这个页面加入索引，但可以继续跟踪页面上的链接。这样搜索结果的“分页”链接还能被相对有限地发现，却不会成为长期存储的URL。
• 无结果页快速收口。对于没有结果的搜索词，页面应返回404或者统一重定向到一个“无结果”说明页，而不是让蜘蛛围绕同一个空模板抓取无限变体。如果必须用200状态码展示，至少要在该页面上用canonical指向搜索首页。

防止蜘蛛陷入翻页泥潭

很多搜索页往往有分页机制，比如每页显示10条，热门词能翻出几十页。建议使用 rel="nofollow" 标注下一页链接，或允许抓取但禁止索引。更彻底的做法是设置一个最大翻页深度，超过N页后页面输出noindex，并且不再生成后续翻页链接。从蜘蛛池运营经验来看，将搜索页的抓取门槛提高，能够保证蜘蛛在达到预算上限前，先处理更核心的路径。

实践中的误区

有些朋友会直接在robots里添加“Disallow: /search”，这确实能阻止常规路径，但要注意两点：第一，如果站点移动端或全网导航中存在指向搜索结果的链接，蜘蛛仍然可能从百度站长/Sitemap提交的地址里间接找到，除非这些URL完全不被引用；第二，robots禁止后，若站点内部结构异常，蜘蛛可能会因为无法抓取该路径而误报死链或者丢掉后续分组的发现机会。

另一种误区是想通过Session标识控制重复抓取。比如将搜索词存在cookie中，URL保持固定。但搜索引擎蜘蛛通常不启用cookie，它需要的是一个可回访的地址。所以与其做状态化处理，不如明确让参数失效或者返回统一页面。

从抓取日志中验证效果

完成改动后，请继续观察未来一两周蜘蛛的日志。看两个关键指标：搜索页URL占总抓取URL的比例是否下降到合理区间（一般建议低于5%）；以及站点首页、详情页的被抓取频率是否变得更规律。如果蜘蛛开始更多访问内容页，说明抓取路径得到了有效疏通。

请注意，不要去追求“让蜘蛛一次也不到访搜索页”的极端状态。搜索功能本身对用户有价值，蜘蛛对搜索框的识别也在进步。关键在于通过URL设计与链接控制，让搜索页停留在“工具页面”的定位，不成为路径洪流的源头。一个干净的链接结构，不仅让搜索引擎更省劲，也让你的日志分析更有指导意义。

总之，搜索页治理不是一道简单的禁止指令，而是围绕URL发现规则做的结构性整理。从用户入口、参数规范和页面元信息三个角度协同配合，才能减少无效占用，保护好真正的抓取资源。