很多站点运营的问题不在发得少，而在发完就断了。内容上线以后，如果没有留下足够清晰的入口，搜索蜘蛛可能很久都不会走到这条 URL 上。URL 发现不是玄学，它更接近一条通路：站内要有链接指向，站外要有可供读取的清单，发布之后还要观察抓取是否真的发生。
先确认这条 URL 本身可以被发现
在讨论入口和提交之前，先做一次很短的检查：
- 页面返回的是 200，而不是 302 跳转、软 404，或者需要登录才可见；
- robots.txt 与页面上的 meta 指令没有把它挡在抓取或索引之外；
- URL 结构稳定，不因排序参数、会话 ID 产生一堆变体；
- 页面主体内容在首屏就能看到，不依赖额外交互才渲染出来。
这几点任何一条出问题，后面的入口和提交都会打折扣。
站内入口是最稳定的发现方式
相比各种提交接口，站内链接是蜘蛛最可靠、最持续找到新页面的来源。新内容上线时，至少确认它出现在下面几个位置之一。
栏目列表与分页
新文应该出现在栏目第一页或第二页。如果栏目采用加载更多，要保证分页地址可抓取，否则新内容可能长期只挂在接口返回里。
内容之间的关联
相关推荐、上一篇与下一篇、同标签文章，都是把权重和抓取路径导向新页面的方式。关联要基于主题相关，而不是随机拼凑。
专题与聚合页
把同一主题的内容收进一个聚合页，既方便用户按线索阅读，也给蜘蛛一个集中发现新 URL 的入口。聚合页本身要有实质内容，不是纯链接列表。
需要留意的是，入口不要全部堆在页脚。页脚链接数量多、位置深，蜘蛛和用户都不太会把它当成主要内容路径。
给蜘蛛的额外通道
- XML 站点地图：新 URL 及时加入，lastmod 如实更新，只放该被收录的地址，别把筛选页、标签页一股脑倒进去。
- 主动提交：搜索引擎提供的收录接口可以提交新地址，但通常有配额，优先给真正重要的页面。
- RSS 或 Feed：对资讯类、更新频繁的站点，Feed 是一条成本很低的发现通道。
- 站外引用：真实、相关的引用才有意义。至于蜘蛛池、泛目录、批量外链之类的做法，效果往往不稳定，也可能给站点带来风险，不建议当成主要手段。
URL 发现的目标是让蜘蛛找得到、走得顺，而不是制造大量无意义的入口，把它引到低质页面上。
发布后几天要看的几件事
- 在服务器日志里按蜘蛛 UA 过滤，看这条 URL 首次被抓是什么时候。
- 观察该路径下蜘蛛的抓取频次有没有变化，是否只抓一次就不再回来。
- 在搜索资源平台确认 URL 状态，是被收录，还是已发现但未抓取。
- 如果长期未抓取，回到站内入口和页面本身，而不是反复提交同一个地址。
几个常见的误区
- 只在后台发布，不做任何入口，等着蜘蛛自己爬过来。
- 一次性提交成千上万条 URL，让提交配额被低质地址占满。
- 把新内容的入口只放进站点地图，站内没有任何链接指向它。
- 频繁改动已发布地址，让已经发现的 URL 变成跳转链。
把上面这些整理成发布后的固定动作，会更容易发现结构性问题：入口是否足够、提交是否有效、抓取是否正常。URL 发现只是第一步，它的作用是把该被看到的页面，尽早放到蜘蛛的路径上。