蜘蛛在一个站点上花的时间不是无限的。它不会按数据库序号把 URL 从头抓到尾，而是把待抓地址放进一个队列，按某种顺序挑着抓。不同搜索引擎的调度细节不公开，但从抓取日志的表现上，能看出一些反复出现的规律。理解这些规律，比单纯往页面里堆链接更实际。
队列里的 URL 从哪里来
一个 URL 进入队列，通常有几条路：首页或栏目页上的内链、Sitemap 文件、外部链接、以及历史抓取记录里重新排队的旧地址。来源不同，进入队列的先后和再次被抓的可能也不同。
- 内链发现：从首页点进去一两次就能到的页面，一般比藏在深层列表里的页面更早被排上。
- Sitemap 提交：适合补充新 URL，但它是提示，不等于插队。
- 历史记录：抓过的页面会按更新情况被重新排队，久未更新的可能被往后放。
影响排队顺序的几个常见因素
下面这些因素在很多站点的日志里都能观察到，权重因引擎而异，但方向大体一致。
- 历史响应质量：响应快、状态码稳定的站点，抓取节奏通常更顺；频繁超时或 5xx 会让节奏变慢。
- 更新信号：内容真的变了，且有 lastmod、Last-Modified 等信号配合，重新被抓的概率更高。
- 链接深度与被引用次数：被多个页面链接、层级浅的 URL，更容易保持在队列靠前的位置。
- 页面价值判断：大量相似、空内容、纯列表无信息的 URL，容易长期排在后面。
- 站点整体规模：同样一份抓取量，分给十万个 URL 和分给一万个 URL，结果完全不同。
抓取量是怎么被稀释的
常见的稀释来源有几类：带追踪参数的地址、筛选与排序组合产生的列表、站内搜索结果页、已经失效但仍在被内链指向的旧地址。它们本身不一定有害，但会占用队列名额。
如果这些地址每天被重新排队，真正需要更新的内容页就会往后排。处理方式通常是：能合并的合并，能用规范标签指向主版本的指向主版本，确实不需要被抓的路径用 robots.txt 剪掉——注意 robots.txt 只是挡住抓取，被挡的 URL 仍可能出现在索引里，边界要提前想清楚。
站点可以做的几件事
- 把重要页面放在浅层：首页或栏目页两三次点击内可达，并在多个入口出现。
- 保持服务器稳定：减少超时、5xx 和长时间的连接等待，这直接影响抓取节奏。
- 更新就更新：内容没变时不要反复改动 lastmod，那会让这个信号失去参考价值。
- Sitemap 只放值得抓的 URL，分片管理，新内容单独提交，避免每次全量重刷。
- 定期看日志：按栏目统计被抓 URL 的数量与状态码，找出抓得多但没价值的区块。
抓取队列不是排一次就固定，它会随站点的响应、更新和结构变化持续调整。调整结构后，效果通常要过一段时间才能在日志里看出来。
怎么复盘
可以按周拉一段日志，按目录分组，看三件事：各目录被抓的 URL 数量、平均响应时间、非 200 状态码的占比。如果某个低价值目录占了很大比例，而核心内容页迟迟没被抓，问题多半出在入口和链接结构上，而不是蜘蛛本身。先把入口理顺，再谈量。