一個新頁面發布之後，能不能尽快被抓取，很大程度上不取决于頁面本身寫得多好，而取决于蜘蛛能不能在短時間内走到它。抓取的前提是發現，發現的前提是有入口。入口從哪来、入口的质量如何，直接决定了這個 URL 是几天後被抓，還是几周後還停在原地。

發現和抓取是两個队列

URL 大致會经過两個阶段：先進入待發現、待抓取的队列，再被真正調度抓取。前者看的是“有没有人鏈到它、有没有被提交過”，後者看的是站点整体抓取预算和調度優先級。很多站点的問题其實出在第一步——URL 连队列前排都没進，後面的事就無從谈起。

所以当你發現某個頁面迟迟没有抓取记錄时，先別急着改正文，先回头看看它是怎么被“發現”的。

三類入口的優先級並不相同

站内連結：最直接，也最容易被做敷衍

同站連結是蜘蛛發現新 URL 的主要途径。它的價值不看數量，看位置：放在频道頁正文区、相關推荐第一條、首頁主要模块里的連結，被發現的速度通常明顯快于埋在列表第五頁或頁脚最底部的連結。由 JS 交互後才渲染出来的連結，會發現得更晚，甚至不被当作發現路径。

站点地图與提交：是提醒，不是插队

sitemap 和提交接口的作用是明确告诉搜尋引擎“這里有個 URL”。它不會让一個缺少内鏈、内容單薄的頁面優先級上升，但很适合用来补齐新頁面、频繁更新的頁面，以及确實不容易通過連結被走到的 URL。

外鏈：跨站發現，质量差异极大

来自抓取频繁站点的連結，被發現的速度通常快于新站之間的互鏈。但外鏈只解决“被發現”，不解决“值得抓”，入口再亮眼，頁面本身站不住脚也留不住。

让入口真正起作用的几個做法

• 新頁面發布时，同步在频道首頁、相關文章底部或主题聚合列表里放一條站内連結，連結放進正文区域，而不是頁脚或侧栏最底部。
• 锚文本用頁面主题词，避免“点击這里”“更多”這類没有信息量的寫法。
• 按更新节奏提交 sitemap，新頁面單獨成條，不要把全站 URL 每天重推一遍。
• 列表頁做分頁时，前几頁保持可抓取，後面的深分頁按實际價值收口。

這几件事會让入口失效

把几千個低质量 URL 一次性塞進 sitemap 或提交接口，通常不會加快收錄，反而容易让整批 URL 的優先級一起被压低。

• 連結只存在于需要点击或滚動後才出現的 JS 区块里。
• 内鏈指向的是 301 跳轉鏈或带參數的變体，真正目标 URL 從未被直接連結。
• 新頁面只挂在“最新文章”這類很快被顶掉的模块里，几天後就再無入口。

怎么確認入口是否生效

看服務器日誌里這個 URL 第一次出現的時間，再對照同類頁面的抓取時間。如果同一栏目下的頁面通常一两天内就有记錄，唯獨某個頁面两周都没有，優先检查它的入口：是不是孤岛頁面、是不是只藏在 JS 里、是不是被 robots 規則挡住。

收錄速度不是能完全控制的東西，但入口是可以自己决定的。把入口做扎實，剩下的交给時間。