抓取和收錄，本来就是两條线
很多站長看資料的方式是：日誌里蜘蛛来得多，就觉得收錄應该會跟着涨；收錄没動，就繼續加内容、加内鏈。结果往往是抓取量翻了几倍，索引里還是那几個頁面。問题不在于努力程度，而在于把两件事当成了一件事。
抓取是蜘蛛把你的頁面下载下来，拿到 HTML 和响應头，這一步是技術動作。收錄是在這之後，搜尋引擎對頁面做质量判断、去重、規范化、選擇主版本，最後决定要不要放進可检索的索引里。抓取是收錄的前置條件，但不是充分條件。頁面被抓了很多次，照样可能一直不進索引。
把两個指标分開记錄
核對的第一步不是找原因，而是把两類資料分開，別混在一張表里看。
- 抓取侧：日誌里的請求次數、抓取時間分布、返回狀態碼、抓取到的字节數、蜘蛛類型。
- 收錄侧：用站点查询、索引报告或直接搜尋具体 URL，看頁面是否真的可被检索到。
關键在于用同一批 URL 做样本。不要拿日誌里的全部請求去比整個站点的收錄總數，两邊根本不是同一批 URL，比出来的结论没有意义。挑 30 到 50 個有代表性的地址，逐個记錄它的抓取情况和索引狀態，這样才有對照。
三種常见的错配
1. 抓取猛增，索引没動
常见于新上线的批量頁面。蜘蛛在短時間内把地址都抓了一遍，但内容同质化嚴重，或者模板占了大半篇幅，實际信息量很少。這種情况下，抓取只是完成了一次掃描，判断结果是暂不收錄。繼續堆同類頁面通常不會改善，反而會消耗抓取预算。
2. 抓取很少，頁面却在索引里
說明蜘蛛已经建立了對這個地址的信任，不需要频繁回抓。這類頁面不要因為日誌里請求少就判定有問题，也不必刻意去刷抓取。
3. 抓取正常，頁面反复進出
抓取频率稳定、狀態碼正常，但索引狀態时有时無。這时候要往内容本身看：是不是更新频繁但每次改動都不大，是不是同一内容在站内有多個地址，是不是主版本判断一直不稳定。
核對时的操作顺序
- 先固定一批样本 URL，寫進表格，不要中途換。
- 记錄每個地址最近一次的抓取時間、狀態碼和抓取到的内容是否完整。
- 再逐個查索引狀態，分清是未發現、已發現未编入索引，還是已抓取未编入索引。
- 把抓取正常且已抓取但未编入索引的地址單獨挑出来，重点看内容质量和重复情况。
- 隔一段時間复查同一批样本，看狀態是稳定還是来回跳。
這個顺序的價值在于：先分清卡在哪一环，再决定要不要動内容。如果頁面压根没被抓到，改文案是没用的；如果已经被抓取但一直不入索引，繼續加内鏈也解决不了問题。
几個容易踩的坑
- 把抓取日誌里的請求數直接当成收錄進展的證據。
- 用站点查询的结果總數当作索引量，不同口径之間来回對比。
- 只看首頁和栏目頁的抓取情况，忽略真正需要收錄的詳情頁。
- 看到抓取變少就立刻加大外鏈或提交频率，反而打乱了正常节奏。
核對收錄时，先把抓取和收錄当成两條獨立的线来看。抓取解决的是能不能拿到，收錄解决的是值不值得放進去，两者之間隔着质量判断，急不来也堆不出来。