蜘蛛一天能抓的頁面數量有限，站点上萬個 URL 不可能同时被訪問。于是它维護一個待抓队列，把地址排進去，再一批批取出来。理解這個排序逻辑，比單纯追問“為什么這個頁面還没被抓”更有用——很多情况下，頁面不是被拒绝，只是還没轮到。
待抓队列不是先来後到
新發現的 URL 會進入队列，但排序並不完全按發現時間。蜘蛛會综合頁面地址、連結来源、站点歷史表現、上次抓取结果等信号，估算“抓這個頁面的收益”。收益清晰的排在前面，收益含糊的往後压，压得久了就變成長期不抓。
常见的几個排序信号
- 連結位置與点击距离：首頁導航、栏目首屏里的連結，通常比頁脚、侧栏、第五层目錄里的連結更容易被優先安排。
- 被連結的數量與来源：同一個 URL 被站内多處引用，指向它的路径越多，被安排的概率越高。
- 頁面歷史抓取结果：長期返回 200 且有實质更新的頁面，回訪更規律；经常空内容、软 404、来回跳轉的頁面，回訪間隔會被拉長。
- 服務器响應：同一批 URL 里，响應快、超时少的路径會被更顺畅地抓完；慢的會在中途被放弃，留到下一轮。
- Sitemap 中的 lastmod：時間寫得准确，能提示蜘蛛“這里變了”；如果全站時間都是同一個值，或者频繁刷新，參考價值會下降。
Sitemap 是清單，不是插队凭證
把 URL 寫進 Sitemap，只代表告诉蜘蛛“這里有這些地址”，並不等于優先抓取。它的價值在于补充内鏈覆盖不到的部分，尤其是深层頁和孤岛頁。但如果内鏈本身没有指向這些頁面，蜘蛛抓完 Sitemap 里的地址後，依然可能因為缺少後續路径而不再回訪。
内鏈决定路径能不能繼續
蜘蛛進入一個頁面，會沿着其中的連結繼續走。如果詳情頁之間没有任何相互連結，也没有回到列表頁的入口，抓取就停在這一层。比較常见的做法是：列表頁分頁保留可抓連結，詳情頁之間加相關推荐，面包屑回鏈到上級栏目。這样從一個入口進来，可以顺带發現一批 URL，而不是抓一個算一個。
回訪間隔没有固定值
有人會把“蜘蛛几天来一次”当成固定指标，實际上它跟站点整体更新节奏、頁面自身變化频率、服務器稳定性都有關。内容長期不變的頁面，回訪間隔自然拉長；一直在补充新内容的栏目，回訪會更密。與其盯着單頁的間隔，不如看整站的抓取量分布是否合理。
可以观察和調整的几件事
- 看抓取日誌里請求集中在哪些目錄，哪些栏目几乎没有记錄，先找差异而不是先猜原因。
- 把重要頁面放到离首頁更近的位置，减少点击距离，別让關键内容只靠一條深鏈進入。
- 减少篩選、排序、追踪參數组合出的低價值 URL，避免它們占用队列名額。
- 保持服務器稳定，避免超时和大面积 5xx 打断一次完整抓取。
- 新頁面發布後，给它一個站内可见入口，而不是只丢進 Sitemap 就等。
抓取顺序不是可以完全控制的開關，更像一種倾向。能做的，是让重要頁面更容易被看见、路径更顺、响應更稳，剩下的交给時間和持續维護。