做站点 sitemap 和做蜘蛛池入口页，很多时候被当成两件不相干的事。其实它们解决的是同一个问题的两端：让搜索蜘蛛知道“有哪些 URL 存在”。区别在于，一个是主动报备，一个是靠链接关系被发现。下面按常见疑问拆开说。
sitemap 和入口页，各自在做什么
sitemap 的作用是主动告诉爬虫：这个站点有这些 URL，可以从这里开始。入口页的作用是提供一个可爬取的链接入口，让爬虫顺着链接走到目标 URL。
- 发现方式：sitemap 是提交式，入口页是链接式。
- 信息量：sitemap 只有 URL 和少量元信息，入口页还能带上锚文本和上下文。
- 适用范围：sitemap 一般只放自己域名下的 URL，别人域名的目标 URL 写不进去。
- 可控性：sitemap 更新容易验证，入口页是否被抓取只能靠日志判断。
把入口页放进 sitemap，有用吗
有用，但作用有限。把入口页写进 sitemap，可以增加爬虫“看到入口页”的机会，从而更早顺着里面的链接走到目标 URL。但它不是抓取加速开关，爬虫会不会来、多久来一次，还取决于站点整体质量、服务器响应速度、历史抓取表现等因素。
另外要注意数量。入口页如果很多，全部塞进 sitemap 会让文件变得臃肿，爬虫可能只挑其中一部分抓取。这种情况下，按主题分组、拆成多个 sitemap 文件，通常比堆在一个文件里更实用。
提交目标 URL 和通过入口页发现，区别在哪
- sitemap 提交的是 URL 本身，爬虫只知道“有这个地址”，但不清楚它和站点其他页面的关系。
- 通过入口页发现，是有链接关系的发现，爬虫能拿到链接位置、锚文本和周边内容，判断是否值得抓取时信息更全。
- 两者不冲突，可以同时做。自己站内的目标页面，sitemap 和链接入口都保留；站外的目标 URL，一般只能靠入口页这类链接方式暴露。
sitemap 解决的是“爬虫知道有这个 URL”，入口页解决的是“这个 URL 从哪来的、值不值得爬”。把两者当成替代关系，往往两头都做不好。
实际操作里的优先级
- 自己域名下的目标页面，先保证 sitemap 正常输出、状态码正常、链接可爬。
- 站外目标 URL 没有 sitemap 可用的，只能靠入口页等链接形式，重点保证入口页本身可访问。
- 入口页不要被 robots.txt 屏蔽，也不要放 noindex，否则爬虫可能连页面本身都不抓，更谈不上里面的链接。
- 定期看服务器日志，确认三件事：爬虫来过入口页、抓取了入口页、顺着链接抓到了目标 URL。缺哪一步，问题就出在哪一步。
几个常见的坑
- sitemap 里放的是入口页，但入口页里的链接大量 404，等于把爬虫带到死路。
- sitemap 的 lastmod 从来不更新，爬虫会逐渐降低对这个文件的信任度。
- 把 sitemap 提交理解成“提交了就会被收录”，这是两回事，收录还取决于页面质量、重复度、抓取预算等。
- 只盯 sitemap 里的 URL 数量，不看入口页是否真的被抓，数字好看但没实际参考价值。
不管走 sitemap 还是走入口页，本质上都是在降低爬虫发现 URL 的成本。链接可读、页面能正常响应、日志里能看到真实抓取记录，这些比单纯堆入口页数量更有意义。被发现之后能不能被收录、能不能获得排名，是另外的问题，需要单独判断。