日誌里每天只有几十次搜尋蜘蛛訪問，新發布的頁面等上一两周才被抓一次，這種情况在頁面數量多、更新频繁的站点上很常见。多數时候它和“被降權”無關，而是抓取額度在排队分配。
抓取額度是什么
搜尋引擎不會一次性把站点所有 URL 都抓一遍，而是根據站点的歷史表現，估算出一個大致可承受的抓取量，再按天分配。這個量不是固定的，會随着响應速度、内容更新节奏、抓取回报的變化而調整。
換句话说，蜘蛛的時間有限。它今天来你的站，就得决定先抓哪些 URL。你能做的，是让這個决定更容易落到你希望被收錄的頁面上。
影响分配的几個因素
- 服務器响應。大量 5xx、超时或响應缓慢，會让蜘蛛降低訪問频率。
- 頁面更新节奏。長期不更新的站点，蜘蛛来得會更少；突然大批量發布新頁面，也可能一时消化不完。
- 站内連結结构。從首頁、栏目頁到目标頁的点击路径越短，蜘蛛越容易找到並判断重要性。
- 低價值 URL 的數量。带排序、篩選、會话參數的連結，站内搜尋结果頁，無限滚動产生的组合，都會分流抓取。
- 歷史抓取回报。如果蜘蛛抓到的多是空白頁、重复頁、404，它下次自然来得更少。
让額度花在關键頁面上的做法
- 先清理無效抓取。在 robots.txt 中屏蔽明确無收錄價值且會大量生成的參數组合，而不是一刀切地屏蔽整站參數。
- sitemap 只放希望被收錄的規范 URL，lastmod 填真實修改時間，不要每次全量重刷。
- 把重要頁面放進首頁或栏目頁的内鏈中，避免它只能從分頁的第 8 頁進入。
- 修掉 5xx 和超时，尤其關注抓取高峰时段的响應表現。
- 新頁面分批上线，保持稳定更新节奏，比一次性放出几百個頁面更容易被消化。
- 定期看日誌，確認蜘蛛實际抓了哪些目錄，而不是只看它一天来了多少次。
两個常见誤区
一是把提交 sitemap 当成排队插队。sitemap 解决的是“告诉你這里有這些 URL”，並不保證優先抓取。
二是把抓取多当成好事。抓取次數上去了，如果抓的都是無收錄價值的頁面，反而挤占了額度。
抓取是前提，收錄是结果。中間還隔着搜尋引擎對頁面质量的判断，抓得多不等于收得多。
自查清單
- 日誌中蜘蛛抓取的 URL，有多少指向你希望收錄的頁面？
- 參數類、搜尋類 URL 占比是否偏高？
- 重要頁面從首頁出發需要几次点击？
- 抓取期間的服務器错誤率是多少？
- 新頁面從發布到首次被抓，平均間隔多長？
抓取額度的調整是渐進的。把無效 URL 收一收，把内鏈理一理，把响應稳住，通常几周内就能在日誌里看到變化。如果調整後抓取分布仍然集中在低價值頁面上，再回头检查内鏈和 sitemap 是否给出了错誤信号。