日誌里的“蜘蛛”不一定都是搜尋引擎

很多站長在核對收錄前，會先翻服務器日誌，看到一批带蜘蛛标识的請求，就預設搜尋引擎来過。但日誌里的 UA 只是一個字符串，客戶端想寫什么就寫什么。把伪造的、誤認的請求一起算進去，抓取量會虚高，後面的判断也會跟着偏。

所以收錄核對的第一步，不是數蜘蛛来了多少次，而是先確認：這些請求里，哪些是搜尋引擎派来的，哪些只是看起来像。

三種常见的“像蜘蛛但不是”的請求

• 伪装的采集程序：直接把 UA 改成 Googlebot 或百度蜘蛛，用来绕過 robots.txt 或防盗策略。它們的 IP 通常不属于對應的搜尋引擎。
• 站内工具與服務：预渲染、SSR 中間层、探活监控、CDN 回源檢測、SEO 工具模拟抓取，都會带類似标识訪問。
• 同名不同用途的官方爬虫：图片、广告、视频、安全掃描等爬虫，UA 里也带搜尋引擎名字，但职责不是為搜尋索引抓取正文。

用反向解析確認身份

UA 可以伪造，IP 和反向解析不容易伪造。主流搜尋引擎都公開了驗證思路，做法基本一致：拿請求 IP 做反向 DNS，得到一個主机名，再把主机名正向解析回去，看是否回到同一個 IP，並且域名归属正确。

1. 從日誌里取出請求 IP，而不是只看 UA。
2. 對 IP 做反向解析，得到主机名。
3. 對主机名做正向解析，比對是否與原始 IP 一致。
4. 主机名的域名後缀要属于该搜尋引擎，才認定為真。

不能只凭“反解得到一個域名”就放行，正向解析必须回得去，域名归属也要對，两步缺一不可。

把真蜘蛛的請求單獨存一份

驗證之後，建议把確認過的搜尋引擎請求單獨寫一份日誌或表，字段至少包含：時間、URL、狀態碼、响應字节數、UA、IP、响應耗时。後面所有收錄核對，都基于這份干净的資料来算。

• 按模板分组：列表頁、詳情頁、聚合頁、搜尋结果頁分開統計，避免少數高频模板拉偏整体判断。
• 按狀態碼分层：200、301、404、403、5xx 各自占比，出错頁面單獨列出。
• 按 URL 去重：同一地址被反复抓取，和有大量新地址被發現，含义完全不同。

分辨清楚之後，再看三個問题

抓取量涨了，索引没動

常见原因是蜘蛛主要在爬低價值頁面：分頁、篩選、參數组合、空结果頁。抓取预算被這些地址消耗，真正需要的頁面反而排不上队。這时要做的不是补内容，而是先管住入口和參數。

蜘蛛只抓了首頁和列表

說明詳情頁的發現路径不够，或者层級太深。可以在列表頁给出稳定的内鏈，配合 sitemap 提交，让地址能被持續發現。

抓取有响應，但索引里没有

抓取和收錄是两件事。抓了可能因為内容重复、质量不足、狀態碼不合适而不入库；也可能是刚抓完，索引還没更新。判断时要结合抓取時間、頁面目前内容和 canonical 指向一起看。

顺序上的建议

1. 先洗日誌：分出真假蜘蛛，只保留確認過的請求。
2. 再看抓取覆盖：哪些模板被抓了，哪些一直没被抓。
3. 再看狀態與内容：抓到的頁面返回什么、正文是否有效。
4. 最後對索引：用站長工具或站内查询，反查這些 URL 是否真的在索引里。

把這几步分開做，收錄核對才有基础。蜘蛛来過不等于頁面被收錄，先把日誌里的噪声去掉，資料才能說明問题。