蜘蛛發現 URL 的過程，更像從几個入口出發，沿着站内連結一点点扩散，而不是一次性把全站地址都讀一遍。所以新頁面没有被很快抓到，通常不是單一原因，可能是入口太深、内鏈位置不顯眼，也可能是抓取队列里還排着別的任務。
蜘蛛的入口不止首頁
很多站点預設蜘蛛從首頁開始，但實际情况更复杂。Sitemap、外鏈、RSS、以及已经收錄的舊頁面，都可能成為蜘蛛進入站点的入口。不同入口能到達的 URL 范围不一样：Sitemap 适合提交一批地址，内鏈适合让蜘蛛顺着结构繼續走，外鏈則常常把蜘蛛直接带到某個深层頁。
如果只依赖 Sitemap，而站内没有像样的内鏈路径，蜘蛛即使發現了 URL，也可能缺少再次来訪的路径。反過来，内鏈结构清晰，但 Sitemap 長期不更新，新 URL 的發現速度也會受影响。两者配合，比單獨依赖一個更稳。
連結位置影响發現次序
蜘蛛解析 HTML 时，會按一定的顺序遇到連結。正文里的連結、導航里的連結、面包屑、侧栏、頁脚，虽然都是連結，但被看到和被繼續抓取的概率並不相同。
- 正文連結：上下文相關，通常更容易被蜘蛛当作有價值路径。
- 導航與面包屑：位置固定，能帮助蜘蛛理解层級，但數量有限。
- 侧栏與頁脚：全站重复出現，蜘蛛會抓，但新 URL 如果只出現在這里，發現次序往往靠後。
- 列表頁與聚合頁：能集中暴露 URL，但需要控制總量，避免頁面過重。
一個新 URL 如果只放在頁脚或某個冷门标簽頁，蜘蛛可能要等很久才會走到。更稳妥的做法是，让它在正文、相關推荐或面包屑中至少有一個稳定入口。
抓取队列與两類任務
蜘蛛的抓取能力有限，站点越大，越需要排队。队列里通常有两類任務：發現新 URL，以及重訪已收錄頁面。重訪舊頁面會占用不少资源，特別是内容更新频繁的站点。
新 URL 進入队列後，還要看服務器响應、頁面质量、連結来源等信号。如果同一時間上线大量新頁面，蜘蛛可能只先抓一部分，剩下的往後排。與其一次放出几千個 URL，不如分批開放，並确保每批都有内鏈承接。
服務器稳定性也會打断發現
蜘蛛来抓取时，如果频繁遇到超时、5xx 或连接重置，通常會降低對该站点的抓取频率。這不是惩罚，而是资源保護。服務器長期不稳定，新 URL 的發現和舊 URL 的更新都會變慢。
稳定比极致的速度更重要。蜘蛛能顺利拿到頁面，才有後續的發現和更新。
可以检查的几個点
- 看服務器日誌里，蜘蛛對入口頁和列表頁的抓取频次是否正常。
- 检查新 URL 是否至少有一個来自正文或導航的内鏈。
- Sitemap 保持可訪問，但不要把它当作唯一的發現渠道。
- 避免短時間内集中上线大量新 URL，给抓取队列留出消化時間。
- 關注服務器错誤率和响應時間，先解决稳定性問题。
蜘蛛發現 URL 是次序和概率問题，不是開關。把入口、内鏈和服務器稳定性處理好，剩下的交给蜘蛛按自己的节奏来。