站点每发一批新页面，运营都关心同一个问题：蜘蛛什么时候能看到。答案并不取决于某一个设置，而取决于有多少条路通向这些 URL，以及每条路是否真的通着。
几条常见的发现通道
- 内链：从已被频繁抓取的页面链向新页面，这是最稳定的一条路。
- Sitemap：批量声明 URL，适合兜底和补齐，但更新后不保证立刻被读。
- 主动推送：通过搜索引擎提供的接口提交单个或少量 URL，用于新内容或改动内容。
- RSS / Atom：更新频繁的栏目用订阅源输出，部分抓取程序会定期读取。
- 站外链接：外部页面指向新 URL，能形成另一条独立入口。
- 历史重访：曾经被抓过的 URL 被再次访问时，若它已改版并链出新页面，也算一条路。
这些通道之间不是替代关系。关掉其中一条，剩下的通道仍要承担覆盖任务，只是效率会下降。
推送只是把 URL 放进队列
很多误解集中在推送接口上，以为提交了就等同于被处理。实际流程大致是：接口接收 URL，进入待抓列表，然后由抓取调度按自己的节奏安排。中间还隔着判断——这个 URL 是否允许抓取、是否重复、站点当前响应是否正常。
推送解决的是“蜘蛛知不知道有这个 URL”，不解决“蜘蛛什么时候来抓、抓几次、要不要留下”。
所以推送之后仍然要看日志，而不是提交完就当任务结束。
内链这一条路最容易被低估
新页面如果只在同批次的新页面之间互相链接，实际上形成的是一个封闭小组——里面的 URL 都还没被抓过，蜘蛛没有理由从外部进入。更可行的做法是从已有抓取记录的页面链出，比如首页、栏目首页、内容列表页，或者任何在日志里出现频率较高的模板页。
加链接时留意几点
- 链接是服务端输出的 HTML，而不是加载后才拼接出来的。
- 链接文字能说明目标页面的主题，避免清一色的“点击查看”。
- 不要给站内正常入口加 nofollow，那会削弱这条通道。
- 新页面本身也要向下链出，形成可继续走的路径，而不是死胡同。
Sitemap 的角色是兜底和补齐
Sitemap 覆盖面广，但不擅长实时。它更适合处理两类情况：一是页面数量多、内链难以全部覆盖；二是页面位置较深，从入口走进去需要经过多跳。使用时注意 URL 必须返回正常状态码，已删除的页面及时移除，lastmod 与实际改动时间保持一致。较大的站点拆成索引加分片，避免单个文件过大导致读取不完整。
RSS 与栏目页适合更新型内容
资讯、公告、商品上新这类更新节奏稳定的栏目，用 RSS 输出最近若干条 URL 是成本很低的做法。它的价值在于持续暴露“最近变化了什么”，而不是替代 Sitemap 的全量声明。
怎么确认某条路真的通了
- 在抓取日志里筛选新 URL，看是否有访问记录，以及首次访问距发布过了多久。
- 检查该 URL 的服务器响应，确认不是 404、5xx 或长时间重定向。
- 核对 robots.txt 与页面上的 noindex，排除被主动拒绝抓取的情况。
- 确认内链所在页面本身是被抓取的，否则链路起点就不成立。
- 对比同类页面的表现，判断是单页问题还是整批通道问题。
如果日志里完全没有痕迹，先怀疑通道断了，而不是怀疑蜘蛛不感兴趣；如果日志里有访问但频次很低，那更可能是站点整体抓取节奏的问题，需要回到站点结构和响应质量上找原因。
一个可执行的发布顺序
发布前确认内链入口已经存在并能正常点击，同时更新 Sitemap；发布后通过推送接口提交本次新增或改动的 URL；随后几天观察日志，确认首批访问已经发生。若某批页面长期没有任何抓取记录，再补充站外链接或调整内链位置，而不是反复重复推送。
把 URL 发现看成多条并行的通道，比指望某一个动作更接近实际情况。通道越多、越通，新页面进入抓取流程的效率通常也更稳定。