蜘蛛發現 URL 的四個入口
蜘蛛不會凭空知道一個新頁面存在。它拿到 URL 的渠道大致有四類：外鏈、站内連結、Sitemap，以及站長工具或接口之類的提交入口。這四類不是互相替代的關系，而是速度不同、覆盖面不同的组合。
- 外鏈：從別的站点指向你的連結
- 内鏈：站内頁面之間的連結
- Sitemap：你主動列出的 URL 清單
- 提交入口：手動或接口推送單個 URL
外鏈是入口，但不由你决定
外鏈的價值在于蜘蛛抓取別的站点时顺手發現了你。它的特点是快，但完全不受你控制：對方頁面被抓取频率低，你的頁面被發現的节奏也跟着慢；對方把連結撤掉，這條入口就消失了。所以外鏈适合当作“多一條路”，不适合当作新頁面被發現的主要依赖。
内鏈是最稳的通道
只要新頁面能從已被抓取的頁面出發，通過若干次点击到達，蜘蛛就有机會顺着連結走過来。關键在于路径要存在，而且要短。常见的做法是把新内容放進栏目頁、列表頁、相關推荐、上一篇 / 下一篇這些位置，保證它和已有頁面之間至少有一條實际存在的 HTML 連結。
需要注意的是，靠 JS 渲染出来的連結、需要点击才加载的“更多”按钮，對蜘蛛来说不一定构成連結。如果一條路径必须交互才能展開，最好同时给出一份静態可点的連結。
Sitemap 负责覆盖，不负责優先級
Sitemap 的作用是把 URL 成批地告诉蜘蛛，特別是那些内鏈路径較深、不容易被走到的頁面。它解决的是“看见”，不解决“先抓谁”。蜘蛛拿到 Sitemap 之後仍會按自己的判断安排抓取顺序，列進去的 URL 也不會因此获得更高的抓取優先級。
维護 Sitemap 时，重点是保持它和站内實际可訪問的 URL 一致：已经 404 的、已经合並的、被 robots 屏蔽的頁面不要長期留在里面，否則只是占用蜘蛛的驗證成本。
提交接口适合少量、时效性强的頁面
站長平台的提交入口和部分接口适合推單個重要頁面，比如新上线的专题頁、突發内容的詳情頁。它的作用是“提醒一次”，不是長期通道。日常更新量大的站点，靠逐條提交並不現實，還是要把内鏈和 Sitemap 做扎實。
怎么確認頁面真的被發現了
判断方式不复杂：看服務器日誌里有没有蜘蛛對這條 URL 的請求记錄。有請求，說明入口生效了；没有請求，就按“外鏈 → 内鏈 → Sitemap → 提交”的顺序排查，看哪一环断了。可以重点查三件事：
- 頁面是否返回 200，是否被 robots.txt 或 meta 标簽挡住
- 從首頁到该頁面是否有一條点击可達的連結路径
- Sitemap 里的這條 URL 是否與线上地址完全一致
發現和收錄是两件事。蜘蛛来抓過，只代表 URL 被發現；是否收錄、以什么形式展現，還要看頁面本身的质量與站点整体情况。