蜘蛛不會自動知道站点上多了一個 URL，它必须從某個入口「听说」這件事：顺着一條内鏈走進来、在 Sitemap 里掃到、從 RSS 或一次主動提交里拿到。把這几條通道分開看，才能判断某個頁面该走哪條路，以及当它迟迟没被抓时，問题出在哪一环。
四條通道各自解决什么問题
内鏈：最稳，但依赖有人走
内鏈是蜘蛛預設的主路径。它顺着已经抓過的頁面繼續往外扩，連結位置越靠前、越靠近主干導航，通常越容易被更早遇到。新頁面上线後，至少要從一個蜘蛛经常回訪的頁面能点到它，比如栏目首頁、列表頁或相關推荐区。
- 連結用普通 a 标簽，href 指向真實 URL，不要依赖脚本再拼。
- 別让新頁面只能從「最新發布」這種會很快滑走的临时区块進入。
- 重要頁面尽量有多個入口，單一入口一旦調整，頁面就可能變成孤岛。
Sitemap：适合批量冷啟動
Sitemap 的價值在「一批 URL 一次性交代清楚」，尤其适合没有强内鏈支撑的長尾頁面。它不保證被逐條抓取，但能让發現這一步不依赖内鏈是否恰好指到。
- URL 數量大时按類型或時間分片，再用索引文件串起来。
- lastmod 只寫真實修改時間，批量刷成今天等于把這個信号作废。
- Sitemap 里不要塞重定向、404 或已被 robots 明确挡住的内容。
RSS / Feed：跟着更新节奏走
對更新频繁的站点，RSS 或類似的 feed 是一條自然的补充通道：它按時間列出最新内容，蜘蛛定期来取就能拿到新 URL。它适合文章、资讯、活動這類新條目會不断出現的内容，不适合用来承载海量商品或篩選頁。
主動提交：少量、重要、及时
IndexNow 這類协议，以及搜尋平台的提交入口，适合在頁面刚上线时推一把。它的作用是缩短「被發現」的等待時間，而不是把頁面送進结果頁。提交要克制：只推真正重要、内容已经就绪的 URL，把全站几萬個地址一次倒進去，通常只會让信号變得难以解讀。
怎么配合：按頁面重要度分三层
- 核心頁：内鏈、Sitemap、主動提交三條一起用，並從稳定的導航入口保留至少两條内鏈。
- 常規内容頁：靠内鏈（分類、相關推荐、上一篇下一篇）和 Sitemap 覆盖，不必逐條提交。
- 長尾與參數頁：先確認這些 URL 是否值得被單獨發現；不值得的，用規范化或 robots 規則收敛，而不是想办法让它們更快被抓。
用日誌驗證通道有没有在工作
通道建好後，值得用服務器日誌回头對一次：新 URL 被發現时，蜘蛛是從哪個入口進来的。常见的做法是看 Referer 字段和訪問顺序，把「從内鏈来的」和「從 Sitemap 来的」分開統計。如果某條通道長期没有带来任何抓取，先检查它本身是不是配置错了，而不是繼續加内容。
- 新頁面發布後一段時間，日誌里是否出現過對應 URL。
- 出現的 URL 命中狀態碼是否為 200，而不是重定向鏈或 404。
- 被抓到的地址是否與 Sitemap 或提交记錄完全一致，包括协议、大小寫和结尾斜杠。
通道的作用是让 URL 被看见。接下来能不能被抓、能不能被收錄，還取决于頁面狀態、服務器响應和内容本身，發現只是第一步。