抓取优先级不是提交出来的
不少站点把希望寄托在提交动作上：提交 Sitemap、在后台手动提交 URL、在外部平台留链接。这些动作确实能给蜘蛛提供线索，但它们只是告诉蜘蛛这里有个 URL，并不能决定这个 URL 在抓取队列里排第几。队列是有限的，每一轮能取多少页面受站点整体情况和服务器承载影响，蜘蛛必须自己判断先取谁。这个判断依据，主要来自站内留下的信号。
站内链接是最直接的排序依据
链接出现在什么位置
首页、栏目页正文里的链接，和页脚、侧栏里的批量链接，在蜘蛛眼里不是一回事。前者更像在说这个页面对站点结构重要，后者更像一堆等价的入口。如果核心页面只在页脚出现，它在优先级上会被稀释。
有多少个入口指向它
一个页面被几个页面链接、这些页面本身是否重要，会层层传递。只有一个入口的页面，往往要等到更靠后的轮次。把重要页面放进主干导航、分类首页、相关推荐位，是成本最低的调整。
链接上下文能不能说清楚它是什么
蜘蛛会读链接周围的文字。同样是“点击这里”，放在“查看完整配置说明”旁边和放在“更多”旁边，传达的信息完全不同。锚文本不必堆关键词，但要能让人和蜘蛛都明白点进去会看到什么。
更新节奏会影响下一轮的到达速度
蜘蛛会记住一个页面过去更新的频率和幅度。长期稳定更新、每次都有实质变化的栏目，下一轮来得更勤；三天两头改标点、改标题却内容不变的页面，容易被当成没什么好看。
如果只是调整排版或者改一个错字，不一定要动 lastmod。让时间字段和真实变化对得上，比频繁刷新时间更有效。
发布节奏也值得注意：一天上线几百个页面，和一周均匀上线几十个页面，蜘蛛处理起来的结果差别很大。前者会让大部分页面排在很后面，甚至长期停在已发现未抓取的状态。
站点整体状态决定优先级的上限
优先级是在站内比较出来的，但如果整个站点都在给蜘蛛添麻烦，再重要的页面也会被拖慢。常见的拖累包括：大量返回 200 的空页面、参数组合生成的无限 URL、明显的重复内容、服务器在蜘蛛来访时频繁超时或返回 5xx。
这些问题的共同点是占用抓取次数却不产生价值。清理它们，等于把有限的抓取次数让给真正需要被看到的页面。
怎么确认调整有没有生效
判断优先级是否改善，可以看三个指标的变化趋势：重要页面的首抓时间、两次抓取之间的间隔，以及在一轮抓取中出现的先后顺序。数据来源可以是服务器日志里的蜘蛛访问记录，也可以是站长后台的抓取统计。
观察时注意分栏目看：导航页、内容详情页、聚合页的抓取节奏本来就不一样，混在一起不容易看出问题。
几个容易走偏的做法
- 在页脚铺几百条链接，希望多多益善，结果每个链接的分量都被稀释。
- 把重要页面藏在三层以上的点击路径里，只靠 Sitemap 兜底。
- 为了让页面看起来新，每次抓取都返回一个新的修改时间。
- 一次性发布大批页面，然后抱怨蜘蛛不来。
一份可以照着做的检查清单
- 列出最重要的那批页面，看看它们分别有几个站内入口、入口在什么位置。
- 把入口数量偏少的页面，补进栏目页或相关推荐。
- 确认主干页面的链接是否都出现在页脚之外的正常内容区。
- 清理明显的空页面、软 404 页面和参数垃圾页。
- 检查服务器在抓取高峰时的响应时间与错误率有没有异常。
- 用日志或后台数据，按月对比重要页面的抓取间隔变化。
抓取优先级的调整不会立刻见效，通常要经过几个抓取周期才能看出趋势。与其反复提交，不如把站内线索理顺，让蜘蛛每次来都能较快判断出哪些页面值得先看。