同一個站点，首頁和博客目錄收錄正常，产品篩選頁或帮助中心却長期停留在“已發現”或“已抓取，尚未编入索引”。遇到這種情况，先別急着把整站判為“不被信任”。搜尋引擎處理收錄时，颗粒度是 URL，而不是站点。不同目錄之間的差异，通常可以從几個具体环节找到原因。
收錄决策不是站点級開關
搜尋引擎對每個 URL 獨立评估：是否值得抓取、抓取後是否值得索引、索引後是否需要更新。站点整体质量會影响抓取频率和信任度，但具体某個目錄能不能進索引，更依赖它自己的抓取路径、頁面质量和内鏈支撑。把“整站收錄差”換成“哪些目錄差、差在哪個环节”，排查會清晰很多。
目錄收錄差异的常见来源
1. 抓取入口深度不同
首頁直接連結的目錄，蜘蛛通常發現得更早；需要经過多級列表、分頁或 JS 才出現的目錄，發現和抓取都會慢。尤其是帮助中心、舊活動頁、用戶中心這類入口較深的目錄，蜘蛛可能很久才訪問一次。
2. 内鏈數量與位置差异
同一個站里，博客文章之間互相連結多，产品頁之間連結少，收錄表現就可能不同。内鏈不只是传递權重，它也是蜘蛛發現 URL 和判断頁面重要性的路径。一個目錄如果只能從 sitemap 找到，缺少正文内鏈，抓取優先級通常偏低。
3. 目錄模板质量參差
如果某個目錄大量頁面只有标题、几張图、一段重复描述，搜尋引擎可能認為這些頁面價值不足，减少抓取或延迟索引。相反，目錄頁有獨立信息、结构化資料、清晰說明，被索引的概率更高。這里不是要堆字數，而是让頁面有明确用途。
4. URL 規范問题集中出現
篩選參數、排序參數、跟踪參數、大小寫和末尾斜杠，如果集中在某個目錄，就會把同一批内容拆成多個 URL。索引信号被分散後，目錄整体收錄看起来就會變差。可以先检查该目錄是否出現參數變体被收錄、canonical 指向不一致等情况。
5. 服務器响應和目錄級配置
有些目錄由不同系統或 CDN 規則提供，可能偶發 5xx、429 或超时，也可能被 robots.txt、noindex 誤伤。目錄級配置一旦拦截抓取，蜘蛛来几次就會降低訪問频率，收錄自然停滞。
按這個顺序排查
- 抽样對比：從收錄好的目錄和差的目錄各取 20 到 50 個 URL，记錄“已發現”“已抓取”“已编入索引”的分布，不要只看 site: 總數。
- 看蜘蛛日誌：確認蜘蛛是否訪問過差目錄，訪問的是真實頁面還是參數變体，返回碼是否正常。
- 查入口路径：從首頁出發，數一數到目标頁面需要几次点击，中間是否有分頁、JS 加载或跳轉鏈。
- 检查内鏈：在正文中搜尋目标 URL，看有多少頁面連結到它，連結是否在主要内容区，锚文本是否自然。
- 核對規范：检查 canonical、robots 元标簽、sitemap 中的 URL 是否一致，參數變体是否被正确收敛。
- 看頁面质量：對比两個目錄頁面的正文、图片、结构化資料和獨有信息，判断差目錄是否存在大量模板重复。
調整时先動哪几處
- 给重要但入口深、内鏈少的頁面补充上下文連結，優先從相關文章或導航中接入。
- 把 sitemap 按目錄拆分，便于观察提交後哪些目錄有抓取响應；但 sitemap 只是發現入口，不能替代内鏈和頁面质量。
- 收敛參數和 URL 變体，让同一内容尽量只有一個規范地址。
- 检查服務器返回碼和目錄級 robots、noindex 配置，避免誤拦截。
- 對内容過薄的頁面先补用途，再考虑是否值得保留在索引中。
收錄差异通常不是單一原因造成的。先確認蜘蛛有没有来、来了抓的是哪一版、頁面是否值得索引，再决定改内鏈、改模板還是改規范。
同站不同目錄的收錄差异，可以当作一張排查地图：抓取入口决定“能不能被發現”，内鏈和頁面质量决定“值不值得抓”，URL 規范和服務器狀態决定“抓得顺不顺”。按這個顺序逐层排除，比反复提交 URL 更有方向。