蜘蛛在一個站点上花的時間不是無限的。它不會按資料库序号把 URL 從头抓到尾，而是把待抓地址放進一個队列，按某種顺序挑着抓。不同搜尋引擎的調度细节不公開，但從抓取日誌的表現上，能看出一些反复出現的規律。理解這些規律，比單纯往頁面里堆連結更實际。
队列里的 URL 從哪里来
一個 URL 進入队列，通常有几條路：首頁或栏目頁上的内鏈、Sitemap 文件、外部連結、以及歷史抓取记錄里重新排队的舊地址。来源不同，進入队列的先後和再次被抓的可能也不同。
- 内鏈發現：從首頁点進去一两次就能到的頁面，一般比藏在深层列表里的頁面更早被排上。
- Sitemap 提交：适合补充新 URL，但它是提示，不等于插队。
- 歷史记錄：抓過的頁面會按更新情况被重新排队，久未更新的可能被往後放。
影响排队顺序的几個常见因素
下面這些因素在很多站点的日誌里都能观察到，權重因引擎而异，但方向大体一致。
- 歷史响應质量：响應快、狀態碼稳定的站点，抓取节奏通常更顺；频繁超时或 5xx 會让节奏變慢。
- 更新信号：内容真的變了，且有 lastmod、Last-Modified 等信号配合，重新被抓的概率更高。
- 連結深度與被引用次數：被多個頁面連結、层級浅的 URL，更容易保持在队列靠前的位置。
- 頁面價值判断：大量相似、空内容、纯列表無信息的 URL，容易長期排在後面。
- 站点整体規模：同样一份抓取量，分给十萬個 URL 和分给一萬個 URL，结果完全不同。
抓取量是怎么被稀释的
常见的稀释来源有几類：带追踪參數的地址、篩選與排序组合产生的列表、站内搜尋结果頁、已经失效但仍在被内鏈指向的舊地址。它們本身不一定有害，但會占用队列名額。
如果這些地址每天被重新排队，真正需要更新的内容頁就會往後排。處理方式通常是：能合並的合並，能用規范标簽指向主版本的指向主版本，确實不需要被抓的路径用 robots.txt 剪掉——注意 robots.txt 只是挡住抓取，被挡的 URL 仍可能出現在索引里，邊界要提前想清楚。
站点可以做的几件事
- 把重要頁面放在浅层：首頁或栏目頁两三次点击内可達，並在多個入口出現。
- 保持服務器稳定：减少超时、5xx 和長時間的连接等待，這直接影响抓取节奏。
- 更新就更新：内容没變时不要反复改動 lastmod，那會让這個信号失去參考價值。
- Sitemap 只放值得抓的 URL，分片管理，新内容單獨提交，避免每次全量重刷。
- 定期看日誌：按栏目統計被抓 URL 的數量與狀態碼，找出抓得多但没價值的区块。
抓取队列不是排一次就固定，它會随站点的响應、更新和结构變化持續調整。調整结构後，效果通常要過一段時間才能在日誌里看出来。
怎么复盘
可以按周拉一段日誌，按目錄分组，看三件事：各目錄被抓的 URL 數量、平均响應時間、非 200 狀態碼的占比。如果某個低價值目錄占了很大比例，而核心内容頁迟迟没被抓，問题多半出在入口和連結结构上，而不是蜘蛛本身。先把入口理顺，再谈量。