很多站点把 URL 发现理解成「把地址递出去就行」，于是 Sitemap 越写越长，内链却越来越浅。实际抓取中，蜘蛛对不同入口的信任程度并不相同：它更愿意沿着已有的抓取路径往前走，而不是每次从一份清单里重新挑选。
内链：默认的、最稳的入口
对绝大多数站点来说，内链是蜘蛛发现新 URL 的主要来源。原因很直接——链接出现在页面里，就意味着它所在页面已经被抓取、被解析过，蜘蛛沿着这条边走，成本最低。
- 链接要真实出现在 HTML 里，懒加载、折叠后才渲染的链接不一定进入当次抓取队列；
- 锚文本与上下文要能说明目标页主题，纯图标或「点击这里」的链接信息量很低；
- 同一目标页的入口不必多，但至少要有一条从列表页或聚合页直达的路径；
- 导航、面包屑、相关阅读属于稳定入口，比正文里的偶发链接更值得维护。
内链的问题通常不是「有没有」，而是「路径是否稳定」。改版、换模板、调整栏目结构，都可能悄悄切断某条边。定期从首页出发做一次路径抽样，比盯着 Sitemap 的条目数量更有意义。
Sitemap：批量补充，不负责排序
Sitemap 的价值在于把散落在站点各处、内链难以覆盖的 URL 一次性交出去，尤其是历史页、深层页和带参数的页面。它不保证被抓取，也不代表优先级——蜘蛛仍会结合内链与站点整体质量来决定抓谁。
- 只放规范地址，跳转页、noindex 页不必进入；
- lastmod 要和真实更新时间一致，长期不更新却频繁改时间，会削弱这个字段的参考价值；
- 分片保持单文件规模可控，索引文件能正常访问；
- Sitemap 本身要能被稳定抓取，返回 200 且内容完整，不能出现截断。
外部链接：偶然但真实的发现通道
外链带来的抓取往往不规律，但它能绕开站内路径的限制，让一个孤岛页被看见。对外链的态度可以是「不依赖、不排斥」：正常的引用、分享、合作链接即可，不必刻意堆量。真正需要留意的是链接指向的地址是否可访问、是否与站内规范地址一致——指向 404 或跳转链的外链，等于一次无效的发现。
服务器稳定性是所有入口的前提
无论入口来自哪里，抓取最终都要落到一次 HTTP 请求上。响应时间、超时率、5xx 比例，决定了蜘蛛愿意在这个站点上花多少时间。稳定性差的时候，增加入口数量并不能提升发现效率，反而可能让抓取预算分散到失败请求上。
一个可执行的核对顺序
- 先看日志，确认新 URL 是否被请求过，以及首次请求来自哪条路径；
- 再看内链，从首页或列表页抽样几条到目标页的路径，验证是否可达；
- 然后核对 Sitemap，确认目标 URL 在列、地址规范、lastmod 合理；
- 最后检查服务器响应，排除超时与错误码带来的干扰。
发现不等于收录。入口的作用只是让蜘蛛知道「这里有个地址」，能不能被抓取、能不能被收录，最终仍取决于内容本身与站点整体质量。