蜘蛛池铺入口頁，本质上是给搜尋引擎制造更多“可以從這里往下走”的起点。但起点铺好了，蜘蛛未必知道它們存在——發現环节如果断了，後面再多的入口頁也只是躺在服務器里。sitemap 和主動推送，就是补上發現环节最常见、成本也最低的两件事。
sitemap 在蜘蛛池里解决的是“告知”，不是“抓取”
sitemap 的作用是给蜘蛛一份 URL 清單，告诉它這些地址是可訪問的、大概什么时候更新過。它不會让蜘蛛立刻来抓，也不决定這些頁面會不會被收錄。不少人把 sitemap 当成加速開關，铺完入口頁就反复提交，结果日誌里 sitemap 被抓了很多次，入口頁本身却没什么蜘蛛来，問题往往出在頁面质量、連結层級和站点整体可信度上，而不是提交得不够。
另外要注意，蜘蛛對 sitemap 里的 URL 仍會做一轮篩選——它更倾向于跟那些结构合理、和已知内容有關联的地址。如果一份 sitemap 里塞满几萬個模板完全一致、彼此之間又没有内鏈關系的入口頁，實际被跟過去的比例通常不會高。
入口站的 sitemap 和目标站的 sitemap 要分開處理
蜘蛛池常见的结构是：一批入口站负责把蜘蛛引進来，真正的目标站另有一份 URL 清單。這两類地址應该各自放在對應域名的 sitemap 里，不要為了省事把目标站的 URL 集中寫進入口站的 sitemap，也不要跨域名混放。跨域提交除了不容易被采纳，還會让入口站的 sitemap 與站内實际連結结构脱节，蜘蛛跟過来之後發現頁面之間毫無關联，抓取意愿會下降。
如果入口頁是多层结构，建议按层級拆成多個 sitemap，再用 sitemap 索引串起来，方便後續观察哪一层被吃得比較多。
主動推送的几種方式，各有适用场景
- 搜尋资源平台的提交接口：适合 URL 數量可控、更新有节奏的站点，提交後仍需等蜘蛛調度。
- RSS / Atom 订阅源：部分搜尋引擎和聚合服務仍會讀取，适合持續新增入口頁的场景。
- 内鏈與外鏈引導：最“笨”也最稳的方式，蜘蛛沿着真實連結走，比清單式提交更贴近它的抓取习惯。
- ping 類服務：早期用于通知博客更新，如今多數已失效或不再被重视，不适合当作主要手段。
几個容易踩的坑
- 把 sitemap 当成“提交越多越好”的計數器，忽略頁面本身是否值得抓。
- 伪造 lastmod 時間，每次都标成当天更新，蜘蛛很快會降低對這個字段的信任。
- sitemap 里混入 404、301 跳轉或需要登入才能看的地址，白白消耗抓取预算。
- sitemap 文件放在 robots.txt 禁止抓取的目錄下，等于自己把路堵上。
- 只提交、不维護，入口頁已经下线了，sitemap 里還留着大量死鏈。
使用时可以注意的几点
- 一個入口站配一份自己的 sitemap，單文件控制在 5 萬條 URL、未压缩 50MB 以内，超出就拆分。
- 只在内容真正變化时更新 lastmod，別為了顯得活跃而频繁改時間。
- 提交频率跟着更新节奏走，有新增再提交，而不是每天全量重推一遍。
- 定期看日誌里 sitemap 抓取次數和入口頁抓取次數的比例，如果 sitemap 被反复讀、入口頁却没什么動静，說明問题不在提交环节。
- sitemap 里的 URL 尽量和站内真實連結结构保持一致，让蜘蛛從清單進来後還能顺着内鏈繼續走。
提醒：sitemap 和推送只是把地址告诉蜘蛛，是否收錄、排位如何由搜尋引擎自行判断，任何工具都不能替代内容本身和站点整体质量。
把 sitemap 和推送当成蜘蛛池里的“门牌”来用會比較合适：它让蜘蛛知道门在哪里，但门後面有没有值得看的東西，還是要靠頁面本身。發現环节做得再细，也只是把被抓到的概率往前推一点，別指望它解决所有問题。