网站刚上线，很多人做的第一件事是把整站 URL 一次性丢进提交入口，然后天天看收录数字。几天过去，发现抓取是来了，但来的都是些边角页面，真正想被看到的栏目和内容反而排在后面。问题通常不在提交本身，而在于一次给的地址太多，蜘蛛的抓取注意力被摊薄了。

为什么一上线就全站提交，往往不划算

蜘蛛对单个站点的抓取次数存在一个大致上限，通常和站点规模、更新频率、响应速度、历史表现有关。这个总量并不会因为你提交了几千个 URL 就自动放大。一次抛出去太多地址，意味着每个地址分到的抓取机会变少，重点页面可能只被扫一眼就过。

另外要分清两件事：提交只是告诉蜘蛛“这里有个地址”，抓取是它真的来取了一次，收录是它判断这页值得进索引。三件事各自独立，提交多不等于收得多。

第一梯队：首页和一级栏目

第一批要保证蜘蛛能稳定访问的，是站点的骨架，而不是内容量。

• 首页：入口最集中，也是蜘蛛最常回访的地方，确保返回 200、没有 noindex、没有被 robots 拦住。
• 一级栏目页：承担分发作用，栏目页本身要有内容摘要或列表，不要是空壳。
• 主要导航：从首页点到栏目，再点到内容，这条路径要能在 HTML 里直接走通。

这一批的数量通常很少，几个到十几个。先把它们跑顺，比铺开几百个地址更有效。

第二梯队：能撑住入口的页面

骨架稳定之后，再往每个栏目里放内容。挑选时可以看几个条件：是否有独立主题、正文是否完整、是否明确归属某个栏目、正文里是否有指向同栏目其他页面的链接。

数量上建议克制。一个栏目先放 5 到 20 篇有代表性的内容，让蜘蛛看出这个栏目的主题和更新节奏，而不是把存档里所有页面一次倒出去。

这些页面可以先放一放

• 只有标题、没有正文的空栏目和空列表页。
• 站内搜索结果页，以及带筛选、排序参数的地址。
• 标签页、聚合页在内容重复度较高时，不必进首批。
• 关于我们、联系方式、隐私政策这类页面，可以存在，但没必要抢占初期抓取。
• 分页列表的第三页往后，通常价值有限。

这些页面不是永远不能收录，而是在抓取总量有限的时候，优先级要往后放。

光靠 sitemap 不够，得把路径做出来

站点地图是补充手段，不是主渠道。它的作用是帮助蜘蛛发现那些靠内链不太容易走到的地址，但如果全站只有 sitemap 里能看到这些 URL，抓取深度往往不如预期。

更可靠的做法是把路径补上：

1. 首页能点到栏目，栏目能点到内容，层级别太深。
2. 栏目页列出本栏目下的内容，且链接是真链接，不要靠脚本点击才出现。
3. 内容页之间加入相关推荐或上一篇下一篇，减少只有入口没有出口的页面。
4. 导航结构尽量稳定，别频繁调整目录层级。

推进节奏和自查顺序

可以按这样安排：

• 上线初期，重点放在首页和一级栏目，确认可抓取、可访问。
• 之后每次推进一个栏目，观察这个栏目的抓取是否正常。
• 用服务器日志或站长平台看蜘蛛实际落在哪些地址，而不是只看提交了多少。
• 如果抓取集中在 404、5xx 或跳转地址上，先修这些，再继续加内容。
• 抓取正常但长期不收录，要回到页面本身看内容、结构、重复度，而不是反复提交。

提交入口解决的是“被看到”的问题，收录与否取决于页面值不值得留。把顺序排对，比把数量堆高更重要。

新站阶段最忌讳的是焦虑驱动的批量提交。先把骨架搭稳、把入口做通、把内容分批放出来，让蜘蛛每次来都有明确的东西可看，后续的收录推进反而更顺。