URL 发现不止一条路
蜘蛛找到新 URL，通常不是靠单一渠道。外链、内链、Sitemap、搜索平台的提交接口，各自承担不同角色。运营侧常把注意力放在其中一条，忽略其他入口的配合，结果就是有的页面很快被抓，有的几个月都没动静。
外链：最早的信号，也最不稳定
被其他站点链接的 URL，往往在蜘蛛下次访问对方页面时被发现。外链的价值在于介绍信，但它的出现时间、链接位置、对方页面被抓频率都不受你控制。指望外链做主力发现渠道，节奏会很被动。更实际的做法是：外链解决第一次被发现，内链解决被持续重访。
内链：站内发现的主干道
站内链接是蜘蛛最稳定的发现来源。只要入口页能被抓，顺着链接就能走到下一层。问题常出在两处：一是链接写在 JS 或事件里，蜘蛛读不到；二是链接层级太深，中间断了就到此为止。检查内链时，可以先用日志或抓取工具看蜘蛛实际走过的路径，而不是只看页面上有没有链接。
Sitemap：批量告知，前提是维护
Sitemap 适合把成批 URL 一次交出去，尤其对新站、孤立页面、更新频繁的列表页有帮助。但它不是提交就能抓。常见问题包括：文件里混着 404、重定向、被 robots 屏蔽的 URL；lastmod 长期不更新；子地图拆分混乱，导致蜘蛛读不完。Sitemap 的作用是把 URL 摆到台面上，能不能抓、何时抓，仍取决于页面本身和抓取节奏。
提交接口：加速单个 URL，不替代结构
搜索平台提供的提交入口，适合少量、需要尽快发现的 URL，比如新上线的活动页、刚修复的页面。它的定位是补充，不是替代内链和 Sitemap。如果站内结构本身稀烂，提交一次只能解决一个 URL，下一次还得手动来。
几个入口怎么配合
- 新站或新栏目上线：先让入口页可抓，内链指向核心页面，再用 Sitemap 批量提交。
- 日常更新：靠内链和列表页带出，Sitemap 的 lastmod 跟着更新。
- 孤立页面：至少从相关页面加一条内链，再进 Sitemap。
- 临时页面：用提交接口推一下，但别把它当长期方案。
容易踩的坑
- Sitemap 里塞了大量低质或重复 URL，蜘蛛读完却没什么收获，反而占用抓取额度。
- 内链全部通过 JS 跳转，蜘蛛看不到下一层。
- 外链只盯着数量，忽略了对方页面本身是否被抓。
- 提交接口用了很多次，站内结构却一直没改。
先看日志，再谈优化
判断哪条入口有效，最直接的方法是看服务器日志：蜘蛛来了哪些 IP、抓了哪些 URL、状态码是什么、间隔多久。把日志和 Sitemap、内链结构对照，往往能发现以为提交了就会来的页面，其实根本没被访问。
蜘蛛是否抓取、何时抓取、是否收录，都由搜索引擎自行决定。运营侧能做的是把入口做清楚、把返回状态做正常，减少蜘蛛白跑的可能。