新页面发布之后，很多站长会盯着服务器日志等蜘蛛出现。但蜘蛛不会凭空知道这个 URL 存在——它要么从某个已经抓取过的页面上看到这个地址，要么通过站点主动提交的渠道拿到它。搞清楚这几条通道各自的节奏和限制，比每天反复手动提交要有用得多。
蜘蛛发现一个 URL 的几条通道
从抓取实践看，新 URL 进入抓取队列通常来自下面几种来源，它们的响应速度和覆盖范围并不一样：
- 站内链接：已在抓取范围内的页面里出现了指向新页面的链接，蜘蛛顺着爬过去。这是最常见、通常也最快的一条路。
- Sitemap：站点地图文件里新增了这条 URL。它更像一份清单，蜘蛛会在合适的时机读取，但不保证立刻处理。
- 站外链接：其他站点链过来。对没有历史积累的新站，这条通道往往不稳定。
- 主动提交接口：部分搜索引擎提供推送方式，能缩短等待时间，但同样只是“告知”，不等于一定抓取。
内链是反应最快的通道
如果希望新页面尽早被发现，最可控的做法是让它出现在一个蜘蛛常来的页面上，比如栏目列表页、标签聚合页、上一篇与下一篇导航、相关推荐模块。这些位置的共同点是本身抓取频率较高，新链接一挂上去，就进入了下一次抓取的视野。
反过来，如果新页面只存在于 Sitemap 里，站内没有任何入口，它就有变成孤儿页面的风险：蜘蛛即便抓过一次，之后也缺少再次回访的路径。
链接写法上的两个细节
- 用标准的 a 标签写链接，通常比用脚本绑定点击更稳妥，后者往往要等页面渲染之后才可能被识别。
- 链接文字写清楚目标页面的主题，对蜘蛛判断这条 URL 值不值得抓有一点帮助。
老页面更新同样是发现入口
在已有文章里补充指向新页面的链接，是一种成本很低的做法。这些老页面往往已经被抓取过多次，蜘蛛下次回访时就能看到新链接。前提是内容确实相关，纯粹为了放链接而堆砌，反而会让这段内容失去意义。
Sitemap 的角色是兜底，不是加速
不少人把 Sitemap 当成催抓工具，每天更新一遍就盼着蜘蛛立刻来。实际上它更像一份候选清单：蜘蛛会定期读取，比对哪些 URL 还没抓过，再结合站点的抓取预算决定先后顺序。它能帮你覆盖那些内链不容易触达的页面，但单靠它很难让一条新 URL 立刻进入队列。
因此更合理的分工是：内链负责让重要页面被发现，Sitemap 负责保证不遗漏。两者都在，覆盖才算完整。
发布那一刻的服务器状态
新页面第一次被抓取时，服务器能不能稳定响应，会直接影响后续的回访节奏。常见的坑包括：页面还没部署完就被提交、接口报 5xx、响应时间明显拉长、CDN 回源超时。蜘蛛遇到这类情况通常会暂时放慢对该目录的访问，等站点稳定后再恢复。也就是说，为了抢几个小时而提交一个打不开的页面，往往得不偿失。
发布后可以做的几件事
- 在至少一个高频抓取的列表页给出入口链接。
- 确认页面可以正常访问，返回 200，内容完整且不需要登录。
- 把新 URL 加入 Sitemap，并如实更新 lastmod。
- 如果站点支持主动提交，按实际更新量提交，不要重复刷同一个地址。
不要一次性放出大量新 URL
批量导入几百上千条新页面时，抓取资源会被摊薄，每条 URL 分到的时间变少，部分页面可能要等很久才被摸到一次。比较稳妥的做法是分批发布，先让结构清晰、内容完整的部分被抓住，再逐步放出剩下的。对内容量本就不大的站点，这一点尤其明显。
蜘蛛发现 URL 靠的是路径，不是催促。把入口放在蜘蛛常走的地方，让服务器在这条路上保持稳定，通常比反复提交更接近你想要的结果。