網站收錄

站点地图不是越長越好:哪些 URL 该進去,哪些该留在外面

站点地图常被当成“提交就能收錄”的通道,但清單里寫了什么,直接决定蜘蛛把抓取花在哪些地址上。本文按頁面類型梳理哪些 URL 值得放進 sitemap、哪些應该排除,並给出提交後可以用来判断清單是否起作用的几個观察点。

網站收錄

站点地图不是越長越好:哪些 URL 该進去,哪些该留在外面

站点地图(sitemap)最容易被誤解成一個“提交按钮”:交给搜尋引擎,頁面就该被收錄。實际上它更像一張候選清單——告诉蜘蛛“這些地址存在,可以来看看”,但来不来、看完收不收,仍由頁面本身决定。真正值得花時間的問题是:清單里该寫什么。

先分清站点地图能做什么

站点地图解决的是URL 發現,不是收錄。它能帮新頁面更快進入抓取队列,也能让蜘蛛知道你站点里有哪些重要地址,但它不改變頁面质量,也不影响索引判断。清單寫得越干净,蜘蛛把時間花在有用頁面上的概率越高。

通常适合放進去的 URL

  • 有獨立價值的内容頁、栏目頁、商品頁;
  • 已经過規范化、返回 200 且允许索引的地址;
  • 更新較频繁、希望被及时發現的頁面;
  • 站内入口較少,光靠連結不容易被爬到的新頁面。

通常應该排除的 URL

  • 設定了 noindex 的頁面;
  • 被 robots.txt 屏蔽的目錄;
  • 會 301、302 跳轉的舊地址;
  • 带篩選、排序、跟踪參數的重复地址;
  • 測試环境、预發布域名下的地址;
  • 404、410 等無效地址,以及已经确定要下线的頁面。

把這些混在清單里,短期看不出問题,時間一長,覆盖率报告里就會堆满“已發現未收錄”“已排除”的條目,反過来干扰你判断哪些頁面是真的有問题。

三種常见寫法要避開

  1. 把全站 URL 一股脑倒進去。包含大量重复地址时,蜘蛛很难判断哪個才是主版本。
  2. sitemap 里的地址和頁面自身的 canonical 不一致。清單寫 A,頁面声明主版本是 B,等于给出两個信号。
  3. 地址寫了却打不開。跳轉、超时、500 都在消耗這次抓取机會。

寫進清單前,問三個問题

  • 這個地址單獨打開,内容是否完整?
  • 如果它和其他地址内容几乎一样,谁是主版本?
  • 我希望它出現在搜尋结果里吗?

第三個問题如果答案是否定的,就別放進去。三問都過得去,再寫進站点地图,基本不會给自己添麻烦。

提交之後该看什么

不要把“提交成功”当成结果。更有用的观察点是:蜘蛛是否真的来抓過(看服務器日誌)、抓到的地址是否和清單一致、覆盖率报告里出現的是“已收錄”還是大量“已發現未收錄”、有没有本该排除的地址被翻了進来。這些信号比清單本身更能說明問题。

站点地图是路牌,不是门票。它只负责把地址摆到蜘蛛面前,能不能留下,還要看頁面本身值不值得。

最後一点:清單要跟着站点變化走。頁面下线、改版換址、结构調整之後,sitemap 也要同步更新,否則你交给蜘蛛的仍是一張過期的地图。