遇到頁面不收錄，很多人第一反應是提交 sitemap 或加外鏈。但在動手之前，更值得先確認一件事：搜尋蜘蛛到底有没有来過這個 URL。如果蜘蛛從未訪問，問题在 URL 發現；如果来過但没有收錄，問题才可能落在抓取质量、頁面质量或索引篩選上。两者混淆，後續操作容易做反。
日誌里先看什么
服務器日誌或 CDN 日誌是核對 URL 發現入口的原始依據。至少關注几個字段：請求時間、User-agent、請求 URL、狀態碼、响應時間。先篩選出主流搜尋蜘蛛的 UA，例如 Googlebot、Bingbot、Baiduspider 等，再看目标 URL 是否出現在记錄中。
如果日誌里只有 404、403、503，說明蜘蛛来過但没拿到正常内容；如果只有 301/302，說明它被引導到了別處；如果记錄里压根没有這個 URL，才轮到“如何被發現”這個問题。
URL 發現的几個入口
搜尋蜘蛛發現新 URL 的路径通常不止一條，常见的有：
- 站内連結：從已收錄頁面点到新頁面，是最稳定也最可控的入口。
- sitemap：适合批量告知 URL，但提交不等于一定會抓取。
- 外部連結：其他站点的連結會带来發現机會，但质量和稳定性不可控。
- 主動推送或第三方服務：包括部分蜘蛛池、推送接口等，可能带来訪問，但不保證最终收錄。
- 歷史抓取與重訪：已抓取過的 URL 可能被再次訪問，用于發現更新或新連結。
核對顺序建议從站内連結開始。一個頁面如果在站内没有任何入口，只靠 sitemap 或推送，發現速度往往不稳定。
抓取和收錄不是一回事
日誌出現蜘蛛訪問，只能說明“抓取”發生了，不能直接等同于“收錄”。抓取之後，搜尋引擎還要判断頁面是否值得進入索引，可能因為内容重复、頁面质量、canonical 指向、noindex 指令、返回狀態異常等原因不收錄或稍後移除。
日誌是發現和抓取的證據，不是收錄的保證。
所以排查时可以先問三個問题：蜘蛛有没有来過；来的时候拿到的是什么狀態；拿到正常内容後，頁面本身是否具备進入索引的條件。每一步對應不同的處理動作。
用日誌核對入口的實操顺序
- 鎖定目标 URL，在日誌中按路径搜尋，確認主流搜尋蜘蛛是否訪問過。
- 查看首次訪問的日期、狀態碼和响應時間，判断是否抓到正常内容。
- 如果從未訪問，检查站内連結是否可達、sitemap 是否包含、robots.txt 是否誤屏蔽。
- 如果訪問過但狀態異常，先修复狀態碼和可訪問性，再观察後續重訪。
- 如果正常抓取但未收錄，再核對 canonical、重复内容、頁面质量與索引指令。
常见誤区
- 只看 sitemap 提交记錄，不看日誌里有没有真實抓取。
- 把蜘蛛訪問次數当成收錄量，忽略索引篩選。
- 頁面在站内没有入口，却指望推送或蜘蛛池解决發現。
- 日誌里出現 404 就認為“被收錄了错誤頁”，其實還要看索引狀態。
把“發現—抓取—索引”分開看，收錄問题會清晰很多。日誌不能直接提升收錄，但它能告诉你下一步该修哪一环。