收录问题排查，很多人是从抓取这一步开始的，但抓取之前还有一个更容易被忽略的环节：发现。蜘蛛必须先知道某个 URL 存在，才可能去访问它。如果新页面从来没有被任何入口指向过，抓取日志里自然也不会出现它，后面的抓取和索引都无从谈起。
发现、抓取、索引是三件事
粗一点分，一个 URL 从诞生到进入索引会经过三段：
- 发现：蜘蛛从某个已知页面、站点地图或外部链接里看到这个地址。
- 抓取：蜘蛛实际发起请求，把页面内容取回来。
- 索引：内容经过处理，判断是否值得长期保留在索引里。
这三段是串行的。第一段没走通，后面两段连发生的机会都没有。所以当新页面迟迟不收录时，先别急着改标题改正文，先确认它有没有被看到。
蜘蛛常见的几个 URL 发现入口
- 站内链接：首页、栏目页、列表页、相关推荐里的链接，是蜘蛛最主要的来源，通常也是被跟随得最稳的一类。
- 分页与更多入口：列表翻页、归档页、按时间或标签聚合的页面，能把蜘蛛带到更深的层级。
- 站点地图：sitemap 是补充入口，不是主入口。它的作用是告诉蜘蛛这些地址存在，但抓不抓、抓几次，仍取决于页面本身。
- 外部链接：外站的自然链接、合作页面、内容分发平台，都能带来新的发现路径。
- 推送与提交接口：部分搜索引擎提供主动提交入口，可以在发布后告知一声，但同样只是告知。
入口没铺好时，页面会呈现什么状态
- 页面只能通过站内搜索、筛选条件或表单提交才能到达，没有稳定可跟随的链接。
- 链接由脚本在点击时才生成，源码里找不到可以直接跟随的地址。
- 链接只出现在页脚一大串里，位置太深、数量太多，被跟随的概率很低。
- 新页面只在站点地图里出现过，站内没有任何地方指向它，外部也没有链接。
这些情况对应的常见表现是：页面在索引里显示为已发现但尚未抓取，或者连这个状态都没有。这时真正该做的是补链接入口，而不是换着方式反复提交地址。
怎么检查自己的入口够不够用
- 从首页出发，只用普通可点击链接，看能不能在三四次点击内到达目标页面。做不到，就说明层级偏深。
- 看抓取日志里蜘蛛访问目标页面时是从哪个页面跳过来的。如果来源永远只有站点地图，说明站内链接几乎没有贡献。
- 把导航和列表遮住，只留正文，看新页面还能不能被其他文章引用到。
- 检查有没有页面只有一条入口，而这条入口本身就是个还没被收录的页面。
几个容易踩的误区
把站点地图当成收录开关，提交完就认为任务结束；或者把内链当成装饰，只在发布那一刻加一次，之后再也没有人维护。
- 一次性给新栏目堆上几百个链接，反而让每个链接分到的注意力变少。
- 把重要页面藏在只有交互才能触发的路径里，日常浏览看不到，蜘蛛也很难走到。
- 页面已经下线，入口链接还留着，蜘蛛反复去访问一个不存在的地址。
小结
收录的上游是 URL 发现，URL 发现的上游是链接结构。把新页面接进首页、栏目和已有内容组成的链接网络里，让它在发布当天就有一条稳定、可跟随的入口，后面关于抓取和索引的排查才有意义。入口这件事不需要什么技巧，需要的是在发布流程里固定留出一步：新页面上线时顺手确认一次，它到底有没有被链上。