蜘蛛抓取一个 URL 之前，先要知道这个 URL 存在。这一步叫 URL 发现，它决定了新页面是被几小时内抓走，还是躺在那里几周都没有动静。把发现环节拆开看，实际起作用的主要是三条路径：站外链接、Sitemap、站内链接。它们并不是互相替代的关系，覆盖范围和生效速度差别很大。
外链：出现得最早，但不由你控制
外部页面上的链接通常是最先被蜘蛛看到的信号。你自己站里还没发布，合作方或论坛里已经贴了地址，蜘蛛顺着那条链接就进来了。问题在于，这条路径的节奏完全掌握在对方手里：对方页面多久被抓一次、链接是否带 nofollow、页面本身是否被索引，都会影响这个入口能不能派上用场。
因此外链更适合当作加速信号，而不是主力通道。稳妥的做法是确保站内路径同时也能发现这个 URL，外链只是让它更早一点被看到。
Sitemap：适合批量、适合新站、适合缺少内链支撑的页面
Sitemap 的价值在于把清单直接交给蜘蛛，不依赖它自己一层层爬。以下几种情况尤其适用：
- 新站，内链结构还没成型；
- 一次性上线几十上百个页面，靠内链传递太慢；
- 页面本身很难被站内链接到达，比如活动页、落地页、附件页。
Sitemap 并不等于提交就抓。它只负责告知存在，抓不抓、什么时候抓，仍取决于服务器响应质量、页面本身是否有足够内容、以及站点整体的抓取节奏。把大量低价值 URL 塞进 Sitemap，反而会稀释里面真正重要的那部分。
内链：最慢但最稳的一条路
内链是唯一完全由自己掌控的入口。蜘蛛抓到一个页面，会顺着页面里的链接继续走，只要链接是普通 a 标签、指向可抓取的 URL，这条路就是通的。它的缺点是慢：新页面需要先被父页面链接，父页面还要被重新抓取一次，新 URL 才能传出去。层级越深，传递过程越长。
实际操作中，把新页面挂在已有且抓取频繁的列表页、聚合页或首页的某个模块下，通常比单纯提交 Sitemap 更快见效。
三种入口失效时分别是什么样子
- 外链失效：对方页面被删、链接加了 nofollow，或者整站长期不被抓，链接形同虚设，而你在自己后台看不出任何异常。
- Sitemap 失效：文件格式出错、里面的 URL 返回 404、超过大小限制却没有分片，或者抓取路径被 robots.txt 挡住，蜘蛛读不到清单。
- 内链失效：链接由 JS 动态生成而蜘蛛没有执行、被 onclick 事件替代，或者指向的 URL 被 robots.txt 屏蔽，页面在站内就成了没有入口的孤岛。
怎么验证发现链路是通的
- 在服务器日志里搜索目标 URL，确认是否有蜘蛛的访问记录；
- 查看该次访问的来路，判断蜘蛛是从哪个入口进来的；
- 确认页面返回的状态码是 200，并且内容不是空的壳；
- 如果几天内没有任何记录，先排查 Sitemap 是否可正常访问、内链是否真的输出为可点击链接。
按站点情况搭配使用
新站或者栏目改版期间，Sitemap 加内链的组合更实用；已经有稳定抓取节奏的站点，新的重要页面优先挂内链，外链作为补充。三条路一起走，任意一条出问题时，URL 仍然有机会被发现。
发现只是第一步。蜘蛛知道了 URL，接下来还要经历排队、请求、解析和入库，中间任何一环出问题，页面都不会进入索引。