在网站运营里，有一类问题很常见：服务器日志里明明有蜘蛛访问，搜索时却找不到页面。于是有人继续加内链、频繁提交 sitemap，甚至怀疑蜘蛛池没起作用。但在动手之前，先把抓取和收录分开看，会更容易找到真正卡住的位置。
抓取、索引、展现：三个环节不要混在一起
搜索引擎处理一个 URL，大致会经历发现、抓取、索引和展现。日常说的“收录”，通常指 URL 进入索引后，有机会参与搜索展现。它们并不是同一件事。
- 发现：蜘蛛通过内链、sitemap、外链等途径知道这个 URL 存在。
- 抓取：蜘蛛实际请求了 URL，并下载了服务器返回的内容。
- 索引：搜索引擎判断内容有价值、可索引，把它写入索引库。
- 展现：用户搜索某个词时，页面符合条件并出现在结果里。
日志里出现蜘蛛请求，只能证明“抓取”发生过。它既不代表页面一定进入索引，也不代表搜索时一定能被展现。反过来，页面没有出现在日志里，也可能只是还没被发现，或者抓取频率很低。
为什么蜘蛛来过，页面还是没进索引
抓取之后没有索引，原因通常不在“蜘蛛来没来”，而在页面本身或站点设置。常见情况可以分成几类：
- 可索引性被阻断：robots.txt 屏蔽、页面有 noindex、需要登录才能看到正文。
- 返回状态异常：大量 404、410、503，或者跳转链太长，蜘蛛拿不到最终内容。
- 规范化指向别处：canonical 指向了另一个 URL，当前页面被当作重复版本。
- 内容价值不足：正文很少、模板重复、主要信息都在图片或脚本里。
- 相似页面过多：参数、筛选、分页、聚合页生成了大量近似 URL，索引会做取舍。
这些问题里，只有第一类和第二类属于“抓取层面”，第三到第五类更接近“索引层面”。排查时混在一起看，就容易误判。
按这个顺序排查，少走弯路
1. 先确认是否被抓取
看服务器日志或搜索平台的抓取统计，确认蜘蛛是否请求过目标 URL，返回的状态码是什么。如果完全没有记录，先检查 URL 是否可被发现：站内有没有正常链接指向，sitemap 是否包含，页面是否隐藏得很深。
2. 再确认可索引性
用抓取测试工具或直接查看 HTML，确认页面没有 noindex，没有被 robots.txt 屏蔽，canonical 指向的是自己，返回的是 200 或合理的跳转结果。如果页面依赖 JavaScript 渲染，还要确认蜘蛛拿到的 HTML 里是否有主要正文。
3. 最后看内容与重复
如果抓取和可索引性都没有问题，就回到内容本身。页面是否提供了独立信息，是否和站内其他 URL 高度相似，是否只是把参数换了一下。对于低价值或重复的 URL，与其反复提交，不如先做收敛：合并、规范化，或者明确不放开索引。
常见误区
- “日志有蜘蛛，就是收录了”：抓取只是过程，收录要看索引状态。
- “提交 sitemap 就会收录”：提交主要帮助发现，不保证抓取和索引。
- “内链多就一定会收录”：内链有助于发现和抓取，但内容质量与可索引性才是关键。
- “收录少就继续加蜘蛛池”：如果页面本身不可索引或高度重复，增加抓取未必能解决问题，还可能浪费服务器资源。
把抓取、索引、展现拆开看，很多“收录问题”会变成具体的技术或内容问题，处理起来更有针对性。
实际操作中，建议先建立一个简单的检查表：URL 是否可发现、是否可抓取、是否可索引、内容是否独立。每一步只回答一个是非题，卡在哪一步，就处理哪一步。这样比反复猜测蜘蛛是否来过，更接近问题的根源。