做站点运营,几乎每天都會遇到同一個問题:這個頁面到底被收錄了没有。這個問题看起来简單,但不同的人用不同的方法去查,往往得到互相矛盾的结论。原因在于,“收錄”本身不是一個單一動作,而是一串狀態的集合。先想清楚要查哪一层,再選對應的查法,结论才不會跑偏。
先分清你要查的三层狀態
從蜘蛛訪谈到搜尋结果,中間至少隔着三层:
- 抓取過:蜘蛛請求過這個 URL,服務器日誌里能看到记錄。這只說明它来過。
- 進了索引:頁面被處理、去重、归類之後,真正存進了索引库。
- 能被展現:用戶在特定查询下确實能看到它,還要受查询词、地域、结果折叠等條件影响。
大部分“到底收錄没有”的争论,其實是大家在说不同的层。抓取過不等于進索引,進了索引也不等于任何查询下都能看到。
几種常见查法,各自能看出什么
site: 命令
它给的是一個大致規模,不是精确數量。數值會随查询地点、時間、词形而波動,也會包含一些你並不希望出現的 URL。适合用来看趋势和结构,比如某個目錄下的頁面是不是成批進了索引,不适合拿来当收錄率的分子。
站長後台的 URL 检查
這是目前最接近“單個 URL 狀態”的查法,能区分“已發現但尚未抓取”“已抓取但未编入索引”“已编入索引”等狀態。缺点是它只针對你提交的那一個 URL、那一刻,而且不同属地與协议的版本要分開看。
服務器日誌
日誌回答的是另一個問题:蜘蛛有没有来、来了几次、抓的是哪一版、返回了什么狀態碼。它證明不了收錄,但能證明抓取环节是否正常。如果日誌里長期没有某個 URL,問题通常出在連結结构或入口,而不是内容质量。
直接搜标题或關键句
能看到,基本可以確認它在索引里;搜不到,不能直接判定没有收錄。可能是标题被改寫、查询词竞争激烈、结果被折叠,也可能只是這次搜尋的個性化结果不同。它适合做交叉驗證,不适合做唯一依據。
几個容易讀错的信号
- site: 數量變少,不一定代表頁面被删;有时只是索引在合並或調整。
- URL 检查顯示“已编入索引”,不等于這個词下一定有排名或展現。
- 日誌里有蜘蛛訪問,不等于頁面被收錄,中間還隔着處理和篩選。
- 搜尋结果里出現了頁面,但描述是舊快照,說明索引里的版本還没更新。
確認没收錄之後,先做判断题
把原因按环节归類,比反复提交 URL 更有效:
- 頁面本身是否明确告诉蜘蛛不要索引,比如 noindex、canonical 指向了別處、robots.txt 挡住了抓取。
- 蜘蛛有没有机會走到它:内鏈是否可達,是否有 sitemap 入口,日誌里有没有它的记錄。
- 抓到了但没進索引,就要看内容层面:是否與其他頁面高度重复,是否内容過薄,是否只是列表或篩選结果的空壳。
- 索引里有,但结果看不到,那就不是收錄問题,而是查询與展現的問题。
把查询過程记錄下来
單次查询很容易被誤讀,因為索引狀態本身會變。建议對重点 URL 做一個简單记錄:地址、查询日期、用了哪種查法、当时结论、下一步動作。過两三周再查一次,對比才是有效信息。
把“收錄”拆成“抓取、索引、展現”三段来看,很多看似矛盾的结论會立刻變得合理。
最後提醒一句:無论用哪種查法,你看到的都是某個時間点的切片。與其纠结一次查询的结果,不如把重点放在让頁面本身值得被索引、让連結结构能让蜘蛛走到它。