一条 URL 从被看见到被安排抓取
蜘蛛发现 URL 的通道很多：Sitemap、内链、外链、日志回看、提交接口。但“发现”不等于“安排抓取”。在抓取队列里，每条 URL 还要经过优先级和可信度判断。这个判断过程可以理解为确认：线索值不值得占用下一次抓取。
链接来源决定初始可信度
来自首页或栏目页的内链，通常比深层页面上偶然出现的链接更容易被优先处理。原因不复杂：枢纽页更新频率高，链接结构稳定，蜘蛛在那里读到的 URL 不容易是过期线索。
- 来自稳定导航的链接，被反复看到，确认成本低。
- 正文里孤立的链接，如果周围没有相关内容，蜘蛛可能只记录不马上抓。
- 外链来源质量参差，蜘蛛会结合来源页的抓取频率和更新情况做判断。
内链结构给蜘蛛的是一条路径，不是单点
一条 URL 如果只出现一次，蜘蛛缺少交叉验证。如果同一 URL 在列表页、详情页相关推荐、Sitemap 中都出现，线索一致性高，进入抓取队列的概率也更稳定。
链接的重复出现不是为了堆数量，而是让蜘蛛在不同路径下都能到达同一个地址，减少“这条链接是不是临时出现的”的犹豫。
入口页面的可用性影响确认速度
蜘蛛确认线索时，会先看入口页能否正常打开。如果入口页多次超时或返回错误，蜘蛛不会无限等待，可能先把这条线索放到更低优先级。
- 服务器响应时间稳定，避免长时间无响应。
- 状态码明确，不用 200 返回错误页。
- 入口页有可读内容，而不是只有加载动画或大量脚本。
- robots 和 meta 规则不冲突，避免蜘蛛刚到达就被要求退出。
服务器稳定性不只是“不宕机”
抓取期间出现短暂 5xx，蜘蛛可能降低对该路径的访问频率。恢复后，抓取节奏通常逐步回升，但不会立即回到原有水平。站点可以关注日志里同一路径的连续错误和响应时间中位数，而不是只看有没有报警。
Sitemap 与内链的配合
Sitemap 适合提交完整清单，内链适合表达页面之间的关系。两者配合得好，蜘蛛既能拿到全量线索，也能沿着结构找到重点页面。
- Sitemap 中的 URL 尽量与内链可到达的 URL 一致。
- 重要页面不要只出现在 Sitemap 里，内链也应有入口。
- Sitemap 更新时间与实际上线时间保持接近，避免蜘蛛反复确认不存在的页面。
发现之后的再确认
蜘蛛抓取一个页面后，并不会立刻把整站新链接都拉一遍。它会从已抓页面里提取新 URL，再决定是否加入队列。这个过程是循环的，所以站点结构越清晰，蜘蛛每轮抓取的收获越明确。
站点可以做的准备
与其追问蜘蛛为什么还没抓，不如把发现到确认之间的阻力减少。
- 保持主要入口页面响应稳定。
- 让重要页面在两层到三层点击内可达。
- 避免大量参数组合生成相似 URL，减少线索稀释。
- 用 Sitemap 提供完整清单，用内链标出重点。
- 观察日志中的抓取频次和错误分布，而不是只看收录数量。
抓取线索的确认是一个持续过程。蜘蛛会结合来源、结构、响应和内容信号做判断。站点能控制的部分，主要是让线索更清晰、路径更稳定、服务器更可预期。