站点地图(sitemap)是站点运营里比較基础的一項工作。它不直接决定排名,也不能保證頁面一定被收錄,但可以让蜘蛛更快了解站点里有哪些頁面、哪些是近期更新的。如果站点地图長期不维護,新頁面可能只能等蜘蛛自己碰运气發現。
先看覆盖范围:核心頁面有没有漏
打開 sitemap 文件,對照站点结构過一遍:
- 首頁、主要栏目頁、内容詳情頁是否都在;
- 重要专题頁、聚合頁有没有被漏掉;
- 是否混入了不该出現的頁面,比如登入頁、後台地址、站内搜尋结果頁、带大量參數的篩選頁;
- 已经下线或合並的頁面是否還在列表里。
站点地图不是越全越好。把無價值、重复或狀態異常的 URL 放進去,只會让蜘蛛多绕路。
XML 格式與内容常见問题
- URL 必须是绝對地址,包含协议和域名;
- 检查编碼和特殊字符,避免出現轉义错誤;
- 不要把 noindex 頁面、404 頁面、301 跳轉頁面放進去;
- lastmod 時間要尽量准确,不要把所有頁面的時間都设成同一天;
- 單個文件不超過 5 萬條 URL、50MB,超出时用索引文件拆分。
robots.txt 里別忘了声明
在 robots.txt 中寫明 sitemap 地址,可以帮助蜘蛛直接找到它。同时检查两点:
- robots.txt 是否誤屏蔽了重要目錄;
- sitemap 文件本身是否被 robots 規則挡住。
如果 robots.txt 禁止抓取某個目錄,即使该目錄的 URL 出現在 sitemap 里,蜘蛛通常也不會去抓取。
更新同步:新頁面要能自動進来
内容更新後,站点地图最好能同步更新。手動维護容易漏,可以考虑用程序在發布时生成。重点检查:
- 新發布的文章、新開的栏目是否自動加入;
- 修改過标题或 URL 的頁面,sitemap 里是否還是舊地址;
- 已刪除或已下线的頁面,是否從 sitemap 移除,或至少返回正确的狀態碼。
提交之後,看日誌和索引表現
把 sitemap 提交到搜尋引擎的站長平台後,不要只看“提交了多少條”。更值得關注的是:
- 蜘蛛有没有實际抓取 sitemap 文件;
- sitemap 里的 URL 是否被正常抓取;
- 抓取後索引覆盖情况如何,有没有大量“已發現但未抓取”;
- 如果長期不抓取,回头检查服務器响應、robots 規則和 sitemap 地址是否正确。
一份简單的自查清單
- 核心頁面是否都在站点地图里;
- URL 是否能正常訪問並返回 200;
- 是否包含 noindex、404、301 等異常頁面;
- lastmod 時間是否合理;
- robots.txt 是否声明了 sitemap 地址;
- 新内容發布後是否自動更新;
- 站長平台是否提交並驗證通過;
- 服務器日誌里能否看到蜘蛛抓取记錄。
站点地图的價值在于“指路”,而不是“保證收錄”。把它当成一份给蜘蛛看的目錄,保持准确、干净、及时更新,比一次提交大量 URL 更實用。