新頁面發布之後，蜘蛛不會收到一封邮件说“這里有個新 URL”。它只能沿着已经走過的路径繼續向外扩展。所以一個頁面能不能很快被找到，往往取决于它在站内的哪几個入口上出現過，以及這些入口本身是否處在蜘蛛的抓取范围里。

内鏈：最接近抓取路径的入口

蜘蛛抓取一個頁面时，會解析頁面里的連結，把没见過的 URL 放進待抓队列。因此，從已经被抓取、且抓取频率較高的頁面鏈向新頁面，通常是發現速度最快的方式。

• 導航、栏目頁、列表頁、正文里的相關連結，都是常见入口；
• 連結要是浏览器和蜘蛛都能解析的 a 标簽 href，而不是靠点击事件跳轉；
• 新頁面如果只在站内很深的角落被鏈一次，發現時間會更長。

内鏈的價值不只是“鏈過去”，還在于它给蜘蛛提供了一條可以反复行走的路径。同一批入口多次出現同一個 URL，會让它更容易被排進抓取队列。

Sitemap：补充發現，而不是唯一入口

Sitemap 的作用是帮蜘蛛看到那些内鏈难以覆盖的頁面，比如新上线的獨立頁、分頁較多的列表深處。但它有几個前提：文件本身能被正常抓取，格式没有错誤，且蜘蛛愿意按自己的节奏来讀。

如果站点把所有希望都放在 Sitemap 上，内鏈却空着，發現效果通常不會太理想。更稳妥的做法是两者叠加：能被内鏈带到的頁面繼續用内鏈，孤立頁面再交给 Sitemap 兜底。

Sitemap 解决的是“蜘蛛可能不知道這個 URL”，不解决“蜘蛛来了却發現頁面打不開”。

外鏈與提交渠道：速度不可控，但值得用

来自其他站点的連結，有时能让新 URL 更快進入抓取视野，不過這條路径不受自己控制，數量和质量都难以预期。除此之外，RSS/Atom 輸出、站長平台的提交入口等，也可以作為辅助信号。

這些渠道适合作為补充，而不是主要依赖。把它們当成“多一條被看到的路”，比当成“提交了就一定被抓”更接近實际情况。

被看见之後，還要排队

URL 被發現，只代表它進入了候選池。蜘蛛還要根據站点整体抓取预算、頁面重要程度、服務器响應情况来决定什么时候来。發現路径再多，也不等于抓取額度會随之增加。所以更實际的目标是：让重要頁面有清晰、稳定的入口，让蜘蛛在有限訪問里優先走到這些地方。

怎么检查發現路径是否有效

1. 在服務器日誌里按時間检索新 URL，看是否出現過蜘蛛請求；
2. 確認新頁面從首頁出發，是否存在一條完整的内鏈路径可達；
3. 检查 Sitemap 是否包含该 URL，文件本身返回是否正常；
4. 看新頁面返回的狀態碼，避免出現 404、5xx 或指向登入頁的重定向；
5. 观察几天，如果一直没有請求，再检查 robots、服務器拦截和抓取频次。

這几步做下来，通常能判断問题出在“没有被發現”，還是“發現了但没被抓”。两者的處理方向完全不同。

常见的几處断点

• 連結由脚本拼接，頁面源碼里看不到可解析的 href；
• 内鏈指向的地址已经 404，路径在這里断掉；
• Sitemap 没有更新，或寫入了不该出現的 URL；
• robots.txt 或安全策略挡住了蜘蛛；
• 服務器對蜘蛛返回 5xx 或長時間超时。

發現路径是站点结构的一部分，不是發布頁面时顺手做的一次提交。把入口做稳定、能驗證，比反复猜测蜘蛛為什么不来的效率更高。