做蜘蛛池时，很多人把注意力全放在入口页上，认为只要入口页够多、链接够密，蜘蛛就会源源不断地进来。实际上，搜索引擎发现 URL 的路径不止一条：sitemap、robots.txt 里的声明、站内内链、外部链接都在同时起作用。把这几条路径配合好，入口页的压力会小一些，无效抓取也会少一些。

先理清有哪些发现路径

• 入口页链接：最直接，蜘蛛顺着入口页爬到目标 URL。
• sitemap：主动把 URL 列表交给搜索引擎，适合批量、结构化的提交。
• robots.txt 中的 sitemap 声明：让蜘蛛知道 sitemap 放在哪个地址。
• 站内内链：目标站自身页面之间的链接，决定蜘蛛能不能继续往里走。
• 外部链接：其他站点的指向，属于站外发现渠道。

这几条路径不是互相替代的关系。入口页负责“带路”，sitemap 负责“报备”，内链负责“续路”。缺哪一环，都会让某一部分 URL 长期不被访问。

sitemap 在蜘蛛池里的角色

只放真实可抓取的地址

sitemap 里塞进打不开的、跳转链过长的、返回 404 或 500 的 URL，除了占位置没有别的作用。投喂前先筛一遍状态码，把不健康的地址剔掉，这一步和入口页投喂前的检查逻辑是一样的。

控制文件体积与分段

单个 sitemap 的 URL 数量和文件大小都有上限，超过就要拆成索引文件加子文件的形式。分段时可以按站点、语种或者页面类型来切，方便后续单独观察某一段的抓取情况。

lastmod 要写得真实

把 lastmod 全部写成当前时间，短期看起来“更新很勤”，但蜘蛛多次抓取后发现内容没变，对这个字段的信任度会下降。只有真正改动过的页面才更新这个时间，长期更稳。

robots.txt 的几个注意点

• 不要用 Disallow 去屏蔽入口页，否则蜘蛛连门都进不来。
• 可以在 robots.txt 里声明 sitemap 的完整地址，注意写全协议和域名。
• 通配符和目录规则容易误伤，改动前先用几类典型 URL 验证一遍。
• robots.txt 只能限制抓取，不等于禁止收录，不要把这两件事混为一谈。

入口页与 sitemap 怎么分工

入口页适合承载需要被看见的重点 URL，通过链接文字和页面结构传递一点上下文；sitemap 适合承载数量大、结构规则的长尾地址。两者重叠一部分没有问题，但不要把所有 URL 都堆到入口页上，那样入口页会变得又慢又杂。

入口页解决的是蜘蛛今天来不来，sitemap 解决的是蜘蛛知不知道有这些地址。两者的评价指标不一样，别用同一个标准去衡量。

常见坑

• sitemap 提交后不看抓取日志，以为提交了就一定会被访问。
• 入口页和 sitemap 里的 URL 写法不一致，比如带参数、大小写、末尾斜杠，被当成不同地址处理。
• 频繁改动 robots.txt，导致蜘蛛反复重新读取，占用抓取预算。
• sitemap 长期不更新，里面残留大量已删除页面。

一个可落地的做法

1. 把待投喂的 URL 先过一遍存活与状态码检查。
2. 高价值地址放进入口页，配上能说明内容的链接文字。
3. 其余地址按站点或页面类型拆分进 sitemap，并在 robots.txt 中声明。
4. 每次投喂后固定时间看一次服务器日志，记录蜘蛛对入口页和 sitemap 的访问情况。
5. 根据日志反馈调整下一批的分配比例，而不是凭感觉加量。

蜘蛛池只是发现路径中的一环。把 sitemap 和 robots.txt 也纳入同一套流程去管理，投喂的地址才不会一边进一边漏。做得细一点，效果不会立竿见影，但至少每一步都有据可查。