抓取和收录，本来就是两条线
很多站长看数据的方式是：日志里蜘蛛来得多，就觉得收录应该会跟着涨；收录没动，就继续加内容、加内链。结果往往是抓取量翻了几倍，索引里还是那几个页面。问题不在于努力程度，而在于把两件事当成了一件事。
抓取是蜘蛛把你的页面下载下来，拿到 HTML 和响应头，这一步是技术动作。收录是在这之后，搜索引擎对页面做质量判断、去重、规范化、选择主版本，最后决定要不要放进可检索的索引里。抓取是收录的前置条件，但不是充分条件。页面被抓了很多次，照样可能一直不进索引。
把两个指标分开记录
核对的第一步不是找原因，而是把两类数据分开，别混在一张表里看。
- 抓取侧：日志里的请求次数、抓取时间分布、返回状态码、抓取到的字节数、蜘蛛类型。
- 收录侧：用站点查询、索引报告或直接搜索具体 URL，看页面是否真的可被检索到。
关键在于用同一批 URL 做样本。不要拿日志里的全部请求去比整个站点的收录总数，两边根本不是同一批 URL，比出来的结论没有意义。挑 30 到 50 个有代表性的地址，逐个记录它的抓取情况和索引状态，这样才有对照。
三种常见的错配
1. 抓取猛增，索引没动
常见于新上线的批量页面。蜘蛛在短时间内把地址都抓了一遍，但内容同质化严重，或者模板占了大半篇幅，实际信息量很少。这种情况下，抓取只是完成了一次扫描，判断结果是暂不收录。继续堆同类页面通常不会改善，反而会消耗抓取预算。
2. 抓取很少，页面却在索引里
说明蜘蛛已经建立了对这个地址的信任，不需要频繁回抓。这类页面不要因为日志里请求少就判定有问题，也不必刻意去刷抓取。
3. 抓取正常，页面反复进出
抓取频率稳定、状态码正常，但索引状态时有时无。这时候要往内容本身看：是不是更新频繁但每次改动都不大，是不是同一内容在站内有多个地址，是不是主版本判断一直不稳定。
核对时的操作顺序
- 先固定一批样本 URL，写进表格，不要中途换。
- 记录每个地址最近一次的抓取时间、状态码和抓取到的内容是否完整。
- 再逐个查索引状态，分清是未发现、已发现未编入索引，还是已抓取未编入索引。
- 把抓取正常且已抓取但未编入索引的地址单独挑出来，重点看内容质量和重复情况。
- 隔一段时间复查同一批样本，看状态是稳定还是来回跳。
这个顺序的价值在于：先分清卡在哪一环，再决定要不要动内容。如果页面压根没被抓到，改文案是没用的；如果已经被抓取但一直不入索引，继续加内链也解决不了问题。
几个容易踩的坑
- 把抓取日志里的请求数直接当成收录进展的证据。
- 用站点查询的结果总数当作索引量，不同口径之间来回对比。
- 只看首页和栏目页的抓取情况，忽略真正需要收录的详情页。
- 看到抓取变少就立刻加大外链或提交频率，反而打乱了正常节奏。
核对收录时，先把抓取和收录当成两条独立的线来看。抓取解决的是能不能拿到，收录解决的是值不值得放进去，两者之间隔着质量判断，急不来也堆不出来。