蜘蛛发现 URL 的四个入口
蜘蛛不会凭空知道一个新页面存在。它拿到 URL 的渠道大致有四类：外链、站内链接、Sitemap，以及站长工具或接口之类的提交入口。这四类不是互相替代的关系，而是速度不同、覆盖面不同的组合。
- 外链：从别的站点指向你的链接
- 内链：站内页面之间的链接
- Sitemap：你主动列出的 URL 清单
- 提交入口：手动或接口推送单个 URL
外链是入口，但不由你决定
外链的价值在于蜘蛛抓取别的站点时顺手发现了你。它的特点是快，但完全不受你控制：对方页面被抓取频率低，你的页面被发现的节奏也跟着慢；对方把链接撤掉，这条入口就消失了。所以外链适合当作“多一条路”，不适合当作新页面被发现的主要依赖。
内链是最稳的通道
只要新页面能从已被抓取的页面出发，通过若干次点击到达，蜘蛛就有机会顺着链接走过来。关键在于路径要存在，而且要短。常见的做法是把新内容放进栏目页、列表页、相关推荐、上一篇 / 下一篇这些位置，保证它和已有页面之间至少有一条实际存在的 HTML 链接。
需要注意的是，靠 JS 渲染出来的链接、需要点击才加载的“更多”按钮，对蜘蛛来说不一定构成链接。如果一条路径必须交互才能展开，最好同时给出一份静态可点的链接。
Sitemap 负责覆盖，不负责优先级
Sitemap 的作用是把 URL 成批地告诉蜘蛛，特别是那些内链路径较深、不容易被走到的页面。它解决的是“看见”，不解决“先抓谁”。蜘蛛拿到 Sitemap 之后仍会按自己的判断安排抓取顺序，列进去的 URL 也不会因此获得更高的抓取优先级。
维护 Sitemap 时，重点是保持它和站内实际可访问的 URL 一致：已经 404 的、已经合并的、被 robots 屏蔽的页面不要长期留在里面，否则只是占用蜘蛛的验证成本。
提交接口适合少量、时效性强的页面
站长平台的提交入口和部分接口适合推单个重要页面，比如新上线的专题页、突发内容的详情页。它的作用是“提醒一次”，不是长期通道。日常更新量大的站点，靠逐条提交并不现实，还是要把内链和 Sitemap 做扎实。
怎么确认页面真的被发现了
判断方式不复杂：看服务器日志里有没有蜘蛛对这条 URL 的请求记录。有请求，说明入口生效了；没有请求，就按“外链 → 内链 → Sitemap → 提交”的顺序排查，看哪一环断了。可以重点查三件事：
- 页面是否返回 200，是否被 robots.txt 或 meta 标签挡住
- 从首页到该页面是否有一条点击可达的链接路径
- Sitemap 里的这条 URL 是否与线上地址完全一致
发现和收录是两件事。蜘蛛来抓过，只代表 URL 被发现；是否收录、以什么形式展现，还要看页面本身的质量与站点整体情况。