一个新页面发布之后，能不能尽快被抓取，很大程度上不取决于页面本身写得多好，而取决于蜘蛛能不能在短时间内走到它。抓取的前提是发现，发现的前提是有入口。入口从哪来、入口的质量如何，直接决定了这个 URL 是几天后被抓，还是几周后还停在原地。

发现和抓取是两个队列

URL 大致会经过两个阶段：先进入待发现、待抓取的队列，再被真正调度抓取。前者看的是“有没有人链到它、有没有被提交过”，后者看的是站点整体抓取预算和调度优先级。很多站点的问题其实出在第一步——URL 连队列前排都没进，后面的事就无从谈起。

所以当你发现某个页面迟迟没有抓取记录时，先别急着改正文，先回头看看它是怎么被“发现”的。

三类入口的优先级并不相同

站内链接：最直接，也最容易被做敷衍

同站链接是蜘蛛发现新 URL 的主要途径。它的价值不看数量，看位置：放在频道页正文区、相关推荐第一条、首页主要模块里的链接，被发现的速度通常明显快于埋在列表第五页或页脚最底部的链接。由 JS 交互后才渲染出来的链接，会发现得更晚，甚至不被当作发现路径。

站点地图与提交：是提醒，不是插队

sitemap 和提交接口的作用是明确告诉搜索引擎“这里有个 URL”。它不会让一个缺少内链、内容单薄的页面优先级上升，但很适合用来补齐新页面、频繁更新的页面，以及确实不容易通过链接被走到的 URL。

外链：跨站发现，质量差异极大

来自抓取频繁站点的链接，被发现的速度通常快于新站之间的互链。但外链只解决“被发现”，不解决“值得抓”，入口再亮眼，页面本身站不住脚也留不住。

让入口真正起作用的几个做法

• 新页面发布时，同步在频道首页、相关文章底部或主题聚合列表里放一条站内链接，链接放进正文区域，而不是页脚或侧栏最底部。
• 锚文本用页面主题词，避免“点击这里”“更多”这类没有信息量的写法。
• 按更新节奏提交 sitemap，新页面单独成条，不要把全站 URL 每天重推一遍。
• 列表页做分页时，前几页保持可抓取，后面的深分页按实际价值收口。

这几件事会让入口失效

把几千个低质量 URL 一次性塞进 sitemap 或提交接口，通常不会加快收录，反而容易让整批 URL 的优先级一起被压低。

• 链接只存在于需要点击或滚动后才出现的 JS 区块里。
• 内链指向的是 301 跳转链或带参数的变体，真正目标 URL 从未被直接链接。
• 新页面只挂在“最新文章”这类很快被顶掉的模块里，几天后就再无入口。

怎么确认入口是否生效

看服务器日志里这个 URL 第一次出现的时间，再对照同类页面的抓取时间。如果同一栏目下的页面通常一两天内就有记录，唯独某个页面两周都没有，优先检查它的入口：是不是孤岛页面、是不是只藏在 JS 里、是不是被 robots 规则挡住。

收录速度不是能完全控制的东西，但入口是可以自己决定的。把入口做扎实，剩下的交给时间。