新頁面發布後，很多站長第一反應是去提交接口推送一遍，然後盯着日誌等。實际上，蜘蛛發現一個 URL 的主要途径仍然是連結。提交只是把 URL 放進候選队列，而連結决定了它有多大概率在短時間内被抓到、被抓几次。
把這两件事分開看：發現解决的是“知不知道该抓”，入口强度解决的是“值不值得马上抓”。新頁面通常两者都弱，所以需要人為铺入口。
常见的入口铺设位置
- 首頁的“最新/推荐”区块，位置越靠上、條數越少，單條連結的信号越集中；
- 栏目列表頁的第一頁，注意分頁後的第二頁抓取频率往往骤降；
- 相關阅讀、上一篇/下一篇這類正文内連結；
- 站内搜尋或标簽聚合頁，但這類頁面本身可能不被抓，效果不稳定；
- Sitemap 與 RSS/Feed 文件，属于补充通道，不替代内鏈。
入口不是越多越好。同一批新頁面如果一次性在首頁铺出几十條，容易出現两種结果：要么整体抓取被摊薄，要么被抓後很快停止回訪。分批放、每批控制在栏目頁一屏以内，更便于观察效果。
首次抓取的观察方法
在日誌里按 URL 過滤，记錄以下几個字段就够了：
- 第一次出現的時間，與發布時間相减，得到首次發現耗时；
- 首次請求返回的狀態碼，200 之外的情况都要單獨看；
- 首次抓取携带的 Referer，能看出蜘蛛是從哪個入口找過来的；
- 發布後 24 小时、72 小时、7 天内的抓取次數，判断它是“看一眼”還是“持續回訪”。
如果 Referer 集中在 Sitemap 這一條上，說明内鏈几乎没有起作用，需要回头检查入口是否被前端渲染拿走、是否被 nofollow、是否藏在折叠区域里。
容易被忽略的几個偏差
- 入口頁自身很久没被抓，新連結自然不會被顺带發現；
- 入口頁体积過大或首屏連結過密，靠後的連結容易被截断；
- 新頁面在導航里挂上了，但導航被缓存，蜘蛛拿到的是舊版本；
- 同一批頁面互相之間没有任何内鏈，形成孤岛。
把“提交”当保險，把“内鏈”当主路。提交能加速排队，但只有連結能让蜘蛛知道這個頁面在站点结构里的位置。
一套可复用的检查顺序
- 發布前確認頁面可直接訪問，返回 200，且不被 robots 或 meta 标簽屏蔽；
- 發布後立刻在栏目頁第一頁挂上入口，位置尽量靠前；
- 正文内指向新頁面的連結使用可讀的锚文本，避免“点击這里”；
- 確認 Sitemap 已更新且能被正常訪問；
- 24 小时後按上面的字段做一次日誌核對，未被抓取的頁面優先补内鏈，而不是重复提交。
這套流程的價值，在于把“抓没抓”變成可解释的現象。抓取慢通常不是某一次提交没生效，而是入口强度、入口頁被抓频率、頁面本身可訪問性這三件事里有一件没跟上。