頁面做出来之後，第一步其實不是内容质量，而是让蜘蛛有机會知道這個地址存在。URL 發現是抓取的前置條件，發現不了，後面的一切都無從谈起。
一、站内連結仍然是最稳的入口
如果只挑一種方式，站内連結的優先級最高。蜘蛛顺着已有頁面上的 a 标簽往下走，是它最熟悉、判断成本最低的路径。
新頁面發布後，可以先在几個有抓取记錄的頁面放上連結：
- 首頁或栏目頁的列表区域，适合时效性强的内容；
- 相關推荐、上一篇 / 下一篇，适合長期沉淀的文章；
- 标簽頁、归档頁，把同類内容聚在一起。
注意連結最好是服務端直接輸出的 a 标簽。用脚本点击後再插入的連結，部分情况下仍能被發現，但稳定性不如直接寫在 HTML 里。
二、Sitemap 是补充，不是替代
Sitemap 的價值在于告诉蜘蛛“這些地址存在”，它無法替代内鏈带来的上下文和權重传递。寫法上注意几点：
- 只放返回 200 的規范地址，不要放重定向、404、noindex 的頁面；
- lastmod 要真實，内容没變就別改；
- 分段控制在合理規模，再用 Sitemap 索引文件串起来；
- 提交後在站長平台看是否解析成功，而不是提交完就不管了。
三、容易被忽略的中間頁
站内搜尋頁、标簽頁、作者頁、专题聚合頁，往往能产生大量 URL 入口。用得好，蜘蛛能顺着這些頁面翻到深层内容；用得不好，會生成一批内容重复、质量很低的地址。
比較稳妥的做法是给這類頁面加 noindex, follow —— 不让它們進入索引，但保留其中的連結，供蜘蛛繼續走。
四、外部連結與主動提交
外鏈仍然是發現新域名的老办法，但對已有站点的新頁面作用有限。主動提交（站長平台、索引接口、RSS）可以缩短一次發現的時間，但提交不等于抓取，更不等于收錄。
把提交当成“通知”，而不是“保證”。它只是把地址放進队列，抓不抓、什么时候抓，仍取决于站点的整体狀態。
五、發現之後，服務器要接得住
URL 被發現只是開始。蜘蛛来抓的时候，如果响應很慢、频繁超时，或者返回一堆 5xx，它會把這次失敗记下来，後續回訪的频率往往會降低。
所以稳定性检查要跟上：
- 响應時間超過 3 秒的要查原因，是資料库慢還是頁面太重；
- 抓取高峰时不要做全量重建、批量導入這類重活；
- 必要时用缓存或 CDN 分流，但別把蜘蛛挡在驗證碼外面；
- 對異常来源的請求做限速时，注意別誤伤正常抓取。
六、怎么驗證發現是否生效
比較靠谱的驗證方式還是看服務器日誌：
- 在日誌里搜新 URL 的路径，看有没有出現蜘蛛的 UA；
- 记錄從發布到首次抓取之間的時間，作為自己的基线；
- 观察同一目錄下其他頁面的抓取量有没有變化；
- 定期检查孤儿頁面，也就是没有任何内鏈指向的地址。
把這些資料积累几個月，你會對自家站点的發現速度有個大致预期，而不是每天盯着索引量猜。
小结
URL 發現是内鏈、Sitemap、中間頁、外部来源共同作用的结果，没有哪一條是萬能钥匙。把入口做得清楚些，把服務器维持稳定些，蜘蛛自然會来得更規律一些。