搜尋蜘蛛發現新 URL，最稳定的方式仍然是顺着頁面上的連結走。Sitemap、主動提交可以补充入口，但它們解决的是“告诉蜘蛛這里有一個地址”，而内鏈结构解决的是“蜘蛛能不能顺着路径走到這里”。如果連結路径断了，URL 即使被提交，也可能長期停留在發現阶段。
三類常见入口各管什么
導航連結：覆盖面广，但容易模板化
主導航通常出現在全站每個頁面，能让搜尋蜘蛛快速触達主要栏目。問题在于，導航連結位置固定、數量有限，深层文章和長尾頁面很难僅靠導航获得入口。如果導航里只放几個热门分類，蜘蛛的抓取路径會集中在少數頁面，新 URL 的發現速度就會變慢。
面包屑：补充层級路径
面包屑連結把詳情頁和分類頁、首頁串联起来，给搜尋蜘蛛一條清晰的层級路径。對于内容量較大的站点，面包屑能帮助蜘蛛從任意詳情頁返回上层，再進入同层其他頁面。核對时要確認面包屑不是纯文本，而是可抓取的連結，並且层級不要過深。
正文内鏈：给重要 URL 更多入口
正文里的上下文連結往往比導航連結更有指向性。一篇新文章如果被多篇老文章引用，搜尋蜘蛛在回訪老文章时就有机會發現它。建议把重要頁面、更新频繁的頁面放在相關文章、推荐阅讀或专题模块中，但不要為了數量堆砌無關連結，那样會稀释連結的參考價值。
抓取路径上的常见断点
- 連結由脚本生成，首屏 HTML 里没有可抓取的 href，搜尋蜘蛛需要額外渲染才能發現。
- 列表頁只保留第一頁連結，後續分頁没有稳定入口，深层内容难以被繼續發現。
- 重要頁面只出現在搜尋框、篩選條件或用戶点击後才會加载的模块里，形成孤岛頁面。
- 站内連結被大量 nofollow 或 robots 規則拦截，路径存在但蜘蛛不愿繼續走。
- URL 參數、大小寫、尾斜杠不统一，同一個頁面被拆成多個地址，抓取分散。
- 服務器响應不稳定，蜘蛛走到一半超时，後續連結可能被暂时放弃。
核對顺序建议
- 從首頁出發，用站点爬虫或日誌模拟一次抓取，记錄重要 URL 距离首頁的連結层級。
- 在服務器日誌里查看新 URL 的發現来源，是来自導航、正文、Sitemap 還是外部連結。
- 检查 Sitemap 是否覆盖重要頁面，同时確認這些頁面在内鏈中也有入口。
- 观察响應時間和错誤率，排除因服務器波動導致的抓取中断。
- 每次栏目調整、列表改版後，重新巡检内鏈入口是否失效。
Sitemap 與内鏈的分工
Sitemap 适合承担“登记”角色，尤其是新頁面、深层頁面和更新频繁的頁面。内鏈則承担“维持路径”的角色。只提交 Sitemap 而不给内鏈入口，搜尋蜘蛛可能知道地址存在，却缺少持續回訪的理由。反過来，只靠内鏈而没有 Sitemap，站点規模變大後也容易遗漏。两者配合，才更接近稳定的 URL 發現结构。
URL 發現不是一次提交動作，而是連結路径、服務器狀態和站点结构長期配合的结果。观察日誌、調整内鏈，比追求某個單点技巧更可靠。
如果發現新 URL 迟迟没有抓取痕迹，可以先從内鏈入口查起：它离首頁几跳，有没有稳定的上級頁面，是否被脚本或規則挡住。把這几件事核對清楚，再考虑提交和反馈渠道，通常更有效率。