讨论收录时，很多人习惯从“提交”开始：提交给搜索资源平台、提交 sitemap、手动请求抓取。但提交只解决“告诉对方有这么一个地址”，真正决定页面能不能进入抓取队列的，是爬虫在日常爬行中能不能自然地遇到它。换句话说，URL 的发现环节没做好，后面提交多少次都只是补充。

一、URL 被发现的三条主要路径

搜索引擎发现新 URL 的方式并不神秘，大致可以归为三类，它们各自的覆盖范围和时效性不一样。

1. 站点地图（sitemap）

sitemap 的作用是批量声明，适合让爬虫知道“这个站点还有哪些地址”。它的优点是覆盖全，缺点是不保证抓取顺序——放进清单不等于会被优先处理。适合放：新发布的内容、更新频繁的栏目页、容易漏掉的分页或归档。不适合放：已被大量重复参数污染、指向 404 或已下线的地址。

2. 站内链接

这是最稳定也最有价值的发现方式。爬虫顺着导航、列表页、正文内链一路走，链接层级越浅、入口越明显，被发现的概率越高。一个页面如果只能通过站内搜索框或某个深层筛选条件到达，基本等于孤立页面。

3. 外部链接

其他站点的链接既带来发现路径，也带来一定的信任传递。它的特点是不可控——什么时候被爬、链接会不会被撤掉，都不由你决定。所以它适合作为补充，而不是唯一入口。

二、页面明明存在，为什么一直没被发现

常见原因集中在下面几类：

• 页面是孤立的：没有任何站内链接指向它，只存在于数据库或后台列表里。
• 链接由 JavaScript 生成：如果链接没有渲染成可抓取的 HTML，爬虫可能看不到它，需要先确认渲染是否正常。
• 被 robots.txt 拦截：抓取被挡住，URL 自然不会被继续处理（注意这挡的是抓取，不是索引本身）。
• 层级太深：从首页要点五六次才能到达，抓取优先级会被不断稀释。
• 入口被 noindex 页面占据：唯一能到达目标页的中间页被设了 noindex，路径可能被中断。

发现、抓取、收录是三件不同的事。页面没被收录时，先确认它有没有被“发现”，再去看抓取日志，很多问题在这一步就能定位。

三、按页面类型选择发现方式

不同页面适合的路径不一样，混着用容易浪费精力：

• 新发布的文章：站内入口（首页、栏目页、相关推荐）加 sitemap，两者配合最稳。
• 商品或详情页：靠分类列表和站内搜索的结果页作为入口，注意不要让筛选参数把路径切碎。
• 聚合页、标签页：如果数量大、内容薄，先想清楚是否值得被发现，再决定要不要给入口。
• 活动页、临时页：有时效性的页面可以用外链加速，但要提前规划到期后的处理方式。

四、可以马上检查的几件事

1. 随机挑几个想收录的页面，看它们从首页出发最少几次点击能到达。
2. 检查导航和列表页里的链接是不是真实的 a 标签，而不是点击事件触发的按钮。
3. 看 sitemap 里的地址是否和实际可访问地址一致（协议、域名、尾斜杠）。
4. 确认这些页面没有被 robots.txt 或 noindex 意外挡住。
5. 观察一段时间内的抓取日志，看爬虫是否真的访问过这些入口。

URL 发现做扎实之后，抓取和收录才有讨论的基础。它不保证页面一定被收录，但能减少那种“页面做得不错，爬虫却始终没来过”的情况。