站点跑了一段时间，收录量停在某个数字不动，后台一堆 URL 从未被抓取。这时候最容易出现的动作是：把所有 URL 一次性提交，或者指望某个工具能“批量解决”。结果通常没有变化，因为抓取和索引这两步都不是按提交量来分配的。
先给未收录页面分类，再谈顺序
同样是“未收录”，原因差别很大，处理方式也不同。
- 从未被抓取：日志里看不到蜘蛛访问。问题多出在入口太少、层级太深，或者页面被 robots、登录墙挡住。
- 抓取过但没进索引：蜘蛛来过，页面没被留下。常见原因是内容重复、正文信息量低、页面之间高度雷同。
- 进过索引又消失：通常和页面改版、内容替换、入口被撤掉有关。
分类之后你会发现，只有第一类的“没被抓取”可以通过补入口、调整层级来推动；第二类要先改内容，推多少次都只是重复抓取同一个薄弱页面。
排序时值得看的几个维度
入口情况
页面在站内有没有稳定入口，入口出现在首页还是深层列表页，这两点往往比 URL 提交次数更影响抓取概率。
页面自身的信息量
正文能不能独立回答一个问题，标题和描述是不是和别处重复。如果一页去掉模板就只剩两行字，优先级别往后排。
时效与业务价值
有时效的页面（活动、临时专题）错过窗口就没有意义；长期存在的栏目页、产品页、文章页则值得慢慢养。这两类不要混在同一批里推进。
分批推进的节奏
- 抽出未收录 URL 清单，按上面的维度打分，分成三到五批。
- 第一批只放入口清晰、内容完整的页面，数量不必多。
- 每批处理完，留出观察期，看日志里的抓取是否增加、索引是否变化。
- 上一批没动静，先回头查原因，不要急着开下一批。
观察期的长度没有统一标准，小站可能几天就有反馈，大站要按周来算。关键是同一时间不要引入太多变量，否则分不清是哪一步起了作用。
把抓取当作一种有限的注意力：注意力给谁，取决于这个页面值不值得被看，而不是提交了多少次。
几个容易走偏的做法
- 把全部 URL 塞进站点地图并频繁更新，地图本身不会提升页面质量。
- 给未收录页面批量加外链或做蜘蛛池堆量，短期可能增加抓取，但页面如果仍然单薄，索引结果不会变化。
- 为了“让蜘蛛看到”而生成大量相似页面，反而会稀释整站的抓取分配。
- 页面还在改动中就反复提交，蜘蛛抓到的版本前后不一致，也不利于判断。
一份简单的执行清单
- 先确认页面没有被 robots、noindex、登录墙挡住。
- 检查站内是否有通往它的正常链接，层级是否过深。
- 补齐正文信息，去掉与其他页面的重复段落。
- 按优先级分批提交，并记录每批的时间和结果。
- 定期回看日志，确认抓取去向是否和预期一致。
存量页面的收录更像排队，而不是一次性开关。把有限的抓取注意力先给那些真正值得被看到的页面，剩下的慢慢来，比一次性提交全部 URL 更接近实际效果。