蜘蛛不会自动知道站点上多了一个 URL，它必须从某个入口「听说」这件事：顺着一条内链走进来、在 Sitemap 里扫到、从 RSS 或一次主动提交里拿到。把这几条通道分开看，才能判断某个页面该走哪条路，以及当它迟迟没被抓时，问题出在哪一环。
四条通道各自解决什么问题
内链：最稳，但依赖有人走
内链是蜘蛛默认的主路径。它顺着已经抓过的页面继续往外扩，链接位置越靠前、越靠近主干导航，通常越容易被更早遇到。新页面上线后，至少要从一个蜘蛛经常回访的页面能点到它，比如栏目首页、列表页或相关推荐区。
- 链接用普通 a 标签，href 指向真实 URL，不要依赖脚本再拼。
- 别让新页面只能从「最新发布」这种会很快滑走的临时区块进入。
- 重要页面尽量有多个入口，单一入口一旦调整，页面就可能变成孤岛。
Sitemap：适合批量冷启动
Sitemap 的价值在「一批 URL 一次性交代清楚」，尤其适合没有强内链支撑的长尾页面。它不保证被逐条抓取，但能让发现这一步不依赖内链是否恰好指到。
- URL 数量大时按类型或时间分片，再用索引文件串起来。
- lastmod 只写真实修改时间，批量刷成今天等于把这个信号作废。
- Sitemap 里不要塞重定向、404 或已被 robots 明确挡住的内容。
RSS / Feed：跟着更新节奏走
对更新频繁的站点，RSS 或类似的 feed 是一条自然的补充通道：它按时间列出最新内容，蜘蛛定期来取就能拿到新 URL。它适合文章、资讯、活动这类新条目会不断出现的内容，不适合用来承载海量商品或筛选页。
主动提交：少量、重要、及时
IndexNow 这类协议，以及搜索平台的提交入口，适合在页面刚上线时推一把。它的作用是缩短「被发现」的等待时间，而不是把页面送进结果页。提交要克制：只推真正重要、内容已经就绪的 URL，把全站几万个地址一次倒进去，通常只会让信号变得难以解读。
怎么配合：按页面重要度分三层
- 核心页：内链、Sitemap、主动提交三条一起用，并从稳定的导航入口保留至少两条内链。
- 常规内容页：靠内链（分类、相关推荐、上一篇下一篇）和 Sitemap 覆盖，不必逐条提交。
- 长尾与参数页：先确认这些 URL 是否值得被单独发现；不值得的，用规范化或 robots 规则收敛，而不是想办法让它们更快被抓。
用日志验证通道有没有在工作
通道建好后，值得用服务器日志回头对一次：新 URL 被发现时，蜘蛛是从哪个入口进来的。常见的做法是看 Referer 字段和访问顺序，把「从内链来的」和「从 Sitemap 来的」分开统计。如果某条通道长期没有带来任何抓取，先检查它本身是不是配置错了，而不是继续加内容。
- 新页面发布后一段时间，日志里是否出现过对应 URL。
- 出现的 URL 命中状态码是否为 200，而不是重定向链或 404。
- 被抓到的地址是否与 Sitemap 或提交记录完全一致，包括协议、大小写和结尾斜杠。
通道的作用是让 URL 被看见。接下来能不能被抓、能不能被收录，还取决于页面状态、服务器响应和内容本身，发现只是第一步。