提到 URL 發現，多數人先想到内鏈和 Sitemap。這两條确實是主通道，但蜘蛛接触到的入口其實更杂：別人的頁面、主動提交的记錄、歷史上存在過的地址、站内的各種列表，都可能把 URL 送進抓取队列。不同渠道的时效和覆盖面差別很大，分開看它們，比只盯着 Sitemap 更有判断力。

外部連結：最难控制的一類入口

蜘蛛沿着別的站点上的連結爬過来，是最传统的發現方式。對新建的栏目或頁面来说，第一批訪問往往来自外部連結，而不是自己的 Sitemap。

• 普通正文連結：容易被跟随，也相對稳定。
• 带參數的連結：同一個頁面被不同来源以不同參數指向时，會變成多個入口，發現容易、收敛慢。
• 跳轉型連結：不少平台會把外鏈包装成中間頁，蜘蛛需要多走一步才能到達真實地址，發現會延迟，也更容易在中間层被截断。

外部連結的價值在于把蜘蛛引到你的域名下。至于進来之後往哪走，仍然取决于站内结构是否连贯。

主動提交：把 URL 送進队列，而不是送進索引

Sitemap 提交、接口推送、後台的抓取請求，都属于主動告知。它們的作用是缩短“被發現”這一步的等待時間，並不决定後續是否抓取、抓取後如何處理。

• 整站 Sitemap 适合做覆盖面，增量提交适合做时效。
• 提交频率不必跟着内容更新频率线性上涨，堆积的未處理 URL 反而會稀释每條记錄的分量。
• 提交的地址要和頁面上實际可訪問的規范地址一致，带會话标识或排序參數的變体會白占名額。

把提交当成“通知”而不是“申請”，心態會平稳得多：它解决的是發現速度，不解决内容质量與頁面可達性。

站内那些容易被忽略的清單

除了導航和正文内鏈，站内還有几類頁面天然带着大量 URL：

• 标簽頁、聚合頁、归档頁：數量容易膨胀，质量參差不齐，适合作為补充入口而不是主路径。
• 站内搜尋的固定入口：能帮蜘蛛找到冷门内容，但參數组合過多时，不如另外维護一份精選清單。
• RSS 與 feed：结构規整、更新明确，适合新内容的快速發現，不過通常只覆盖近期條目。

歷史地址與外部存档

老站改版、栏目下线之後，舊 URL 並不會立刻從蜘蛛的记忆里消失，它們可能還會被間隔性地重訪，也可能被轉载頁面長期引用。

• 已下线的地址尽量给出明确指向：返回 410，或指向内容相關的新址，別让它落在返回 200 的空壳頁上。
• 被外部長期引用的舊地址，重定向目标要與原内容相關，避免批量指到首頁。
• 迁移後保留一份新舊地址對照清單，方便後續比對日誌。

几條渠道怎么配合

實际运营中比較省力的组合是：站内連結负责深度，Sitemap 负责覆盖，提交接口负责时效，外部連結负责從零到一。任何一條渠道都不必做到极致，重要的是別让它們互相打架——比如 Sitemap 里還列着一批已被内鏈淘汰的地址，或者提交的地址與頁面上展示的地址不一致。

驗證方式也很朴素：看訪問日誌里蜘蛛落地的第一個 URL 是什么，再看它從那個頁面往下走到了第几层。如果某個栏目長期只有首頁被訪問，多半不是 Sitemap 的問题，而是這一层入口太少，或者入口本身不可達。