站点跑了一段時間，收錄量停在某個數字不動，後台一堆 URL 從未被抓取。這时候最容易出現的動作是：把所有 URL 一次性提交，或者指望某個工具能“批量解决”。结果通常没有變化，因為抓取和索引這两步都不是按提交量来分配的。
先给未收錄頁面分類，再谈顺序
同样是“未收錄”，原因差別很大，處理方式也不同。
- 從未被抓取：日誌里看不到蜘蛛訪問。問题多出在入口太少、层級太深，或者頁面被 robots、登入墙挡住。
- 抓取過但没進索引：蜘蛛来過，頁面没被留下。常见原因是内容重复、正文信息量低、頁面之間高度雷同。
- 進過索引又消失：通常和頁面改版、内容替換、入口被撤掉有關。
分類之後你會發現，只有第一類的“没被抓取”可以通過补入口、調整层級来推動；第二類要先改内容，推多少次都只是重复抓取同一個薄弱頁面。
排序时值得看的几個维度
入口情况
頁面在站内有没有稳定入口，入口出現在首頁還是深层列表頁，這两点往往比 URL 提交次數更影响抓取概率。
頁面自身的信息量
正文能不能獨立回答一個問题，标题和描述是不是和別處重复。如果一頁去掉模板就只剩两行字，優先級別往後排。
时效與业務價值
有时效的頁面（活動、临时专题）错過窗口就没有意义；長期存在的栏目頁、产品頁、文章頁則值得慢慢养。這两類不要混在同一批里推進。
分批推進的节奏
- 抽出未收錄 URL 清單，按上面的维度打分，分成三到五批。
- 第一批只放入口清晰、内容完整的頁面，數量不必多。
- 每批處理完，留出观察期，看日誌里的抓取是否增加、索引是否變化。
- 上一批没動静，先回头查原因，不要急着開下一批。
观察期的長度没有统一标准，小站可能几天就有反馈，大站要按周来算。關键是同一時間不要引入太多變量，否則分不清是哪一步起了作用。
把抓取当作一種有限的注意力：注意力给谁，取决于這個頁面值不值得被看，而不是提交了多少次。
几個容易走偏的做法
- 把全部 URL 塞進站点地图並频繁更新，地图本身不會提升頁面质量。
- 给未收錄頁面批量加外鏈或做蜘蛛池堆量，短期可能增加抓取，但頁面如果仍然單薄，索引结果不會變化。
- 為了“让蜘蛛看到”而生成大量相似頁面，反而會稀释整站的抓取分配。
- 頁面還在改動中就反复提交，蜘蛛抓到的版本前後不一致，也不利于判断。
一份简單的执行清單
- 先確認頁面没有被 robots、noindex、登入墙挡住。
- 检查站内是否有通往它的正常連結，层級是否過深。
- 补齐正文信息，去掉與其他頁面的重复段落。
- 按優先級分批提交，並记錄每批的時間和结果。
- 定期回看日誌，確認抓取去向是否和预期一致。
存量頁面的收錄更像排队，而不是一次性開關。把有限的抓取注意力先给那些真正值得被看到的頁面，剩下的慢慢来，比一次性提交全部 URL 更接近實际效果。