抓取和收录不是一回事
不少站长看到日志里蜘蛛来得勤，就默认页面会被收录；也有人发现页面没进索引，第一反应是蜘蛛没来。这两种判断都容易走偏。抓取解决的是“内容被读取”，收录解决的是“内容被存进索引并有机会参与检索”，而在两者之间，还夹着一个经常被忽略的前置环节——URL 发现。
从 URL 到索引，中间有三道关
第一道：URL 被发现
搜索引擎得先知道这个地址存在。常见入口是站内链接、站点地图、外部链接，以及历史抓取记录里留下的地址。如果某个 URL 只能靠站内搜索框走到，任何页面都不指向它，那它很可能连待抓取队列都进不去，后面两步自然无从谈起。
第二道：URL 被抓取
被发现之后，是否抓、什么时候抓，取决于抓取预算和页面优先级。服务器响应慢、频繁返回 5xx、robots.txt 屏蔽、内链层级过深，都可能让抓取这一步卡住或一再延后。
第三道：内容进入索引
抓到了不等于收进去。页面内容过薄、与站内其他页面高度重复、canonical 指向别处、带有 noindex 标记，都可能让抓取结果被丢弃。这一步的判断权在搜索引擎，不在提交动作本身。
怎么判断卡在哪一步
- 日志里从来没有这个 URL 的抓取记录，站内也找不到入口链接——问题更可能出在发现环节。
- 日志有抓取记录，但索引状态长期停在“已发现，尚未抓取”——问题在抓取环节的调度与预算。
- 日志抓取正常、返回 200，索引状态却显示“已抓取，尚未编入索引”——问题指向内容质量与重复度。
顺序很重要：先确认有没有被抓，再看抓到的结果为什么没被采用。跳过第一步直接改内容，往往是白改。
抓取量上升只是过程指标，索引量才是结果指标。把两者混在一起看，很容易对页面质量做出错误判断。
几个常见的误判
第一个误判是把提交当成收录。站点地图提交、手动提交 URL，只是把地址放进发现与抓取的候选池，并不保证结果被索引。第二个误判是看到一个页面没收录，就全站加大抓取触发力度。蜘蛛池这类手段能改善 URL 发现和抓取触发环节，但不会改变页面本身的质量判断，抓到之后该不该收，仍然是另一回事。
还有一种情况是页面曾被收录又消失。这时同样要分段看：是抓取失败导致索引里没有更新，还是索引层面的去重、降权把页面挤了出去。两者的处理方向并不相同。
站点运营上可以做的几件事
- 保证重要页面有可爬的站内链接，不要只挂在搜索框或依赖交互才能到达的位置。
- 站点地图只放希望被收录的规范 URL，定期清理失效与重复地址。
- 把服务器响应时间控制在合理范围，减少 5xx 和超时，避免抓取被中断。
- 按“发现—抓取—索引”的顺序排查，不要一上来就反复提交同一个地址。
把链路拆清楚之后，很多笼统的“收录问题”都会落到某一个具体环节上，处理起来也更有针对性，而不是在几个环节之间来回试。