在做蜘蛛池和站点运营时，我们总是花大量精力去规划内链、提交Sitemap、调整URL结构，希望搜索蜘蛛能更快地发现新页面。但有一个HTTP头部字段，经常被忽视，却实实在在地影响着搜索蜘蛛的抓取路径和效率，那就是Last-Modified。
简单来说，Last-Modified是服务器返回给客户端的一个时间戳，表示该资源最后一次修改的时间。搜索蜘蛛在抓取页面时，会记录这个时间。下一次再来时，蜘蛛可以通过条件请求（If-Modified-Since）带上这个时间，服务器如果发现内容没有变化，就会返回304状态码，告诉蜘蛛“不用重抓了”。这看起来只是一个小细节，但放在蜘蛛池的抓取场景里，它直接关系到URL发现的节奏和新页面的收录速度。
Last-Modified如何影响搜索蜘蛛的URL发现
搜索蜘蛛的抓取预算是有限的，它会根据页面的重要程度和更新频率来分配每次访问的页面数量。如果一个站点的Last-Modified设置正确，蜘蛛就能快速判断哪些页面值得重新抓取，哪些页面可以跳过，从而把有限的预算留给真正有新内容的URL。反之，如果Last-Modified缺失或与内容实际修改时间不符，蜘蛛可能会陷入两个误区：
- 重复抓取旧页面：服务器没有返回304，蜘蛛每次都重新下载完整内容，消耗了抓取配额，导致新URL被发现的时间被无限延后。
- 忽视更新页面：如果Last-Modified时间偶尔变化但内容没变，或者总是变化但内容实际没更新，蜘蛛会降低对该站点的信任，反而减少抓取频率。
所以，Last-Modified并不是一个简单的“时间戳”，它其实是搜索蜘蛛判断URL发现优先级的一个重要信号。在蜘蛛池运营中，如果你发现新页面迟迟不被抓取，可以先检查一下旧页面的Last-Modified是否正常，往往问题就出在这里。
蜘蛛池中如何正确设置Last-Modified
对于不同的站点类型，设置Last-Modified的方式不太一样，但核心原则是一致的：确保时间戳与页面真实修改时间同步。
静态页面
如果是纯静态HTML文件，Web服务器会自动根据文件修改时间生成Last-Modified，不需要额外配置。但要注意，如果你通过FTP替换了文件，但文件系统时间没有正确更新，也可能导致时间不准。
动态页面
对于PHP、Python、Java等动态生成的页面，需要在代码里主动输出这个头。以PHP为例，可以在页面输出前加入类似这样的代码：
header('Last-Modified: ' . gmdate('D, d M Y H:i:s', $lastModifiedTime) . ' GMT');
但这里有一个关键：$lastModifiedTime不能是“当前时间”或“服务器启动时间”，而应该是该页面对应的数据或内容最后一次被修改的时间。比如文章页，可以取文章表中记录的更新时间；列表页，可以取该列表下最新一条数据的发布时间。
与ETag配合
除了Last-Modified，ETag是另一个常用实体标签。两者可以配合使用，但要注意ETag的变化最好也以内容修改为依据，不要每次请求都生成不同的ETag，否则蜘蛛会被搞糊涂。
常见误区与调整建议
在实际蜘蛛池运营中，Last-Modified的设置常常出现下面这些问题，需要特别注意。
- 不要伪造时间：有些运营者为了让蜘蛛认为页面“新鲜”，把Last-Modified刻意设为当前时间。但蜘蛛抓回来后对比内容会发现并没有变化，反复几次后，蜘蛛很可能降低对站点的信任，甚至减少抓取量。
- 内容更新后不要忘记更新时间：当页面内容被修改，但程序没有更新Last-Modified时，蜘蛛判断该页面未更新，就不会重新抓取，导致修改内容长时间停留在旧版本。
- CDN导致的问题：如果使用CDN，要确认源站的Last-Modified能否被正确透传。有些CDN默认会缓存Last-Modified，导致回源时拿不到最新时间，需要主动配置。
- 不适用于所有页面：对于登录页、验证码等非内容页面，不必刻意设置Last-Modified，保持默认即可。
另外，站点运营中还要注意：Last-Modified只对“真实更新”有意义。如果你的页面通过JS动态加载内容，那么Last-Modified反映的只是HTML框架的修改时间，对蜘蛛判断实际内容的帮助有限。这种情况下，更好的做法是同时配合Sitemap中的lastmod标签，让蜘蛛知道具体内容的变化。
总结：时间信号是抓取路径的一部分
搜索蜘蛛的URL发现，从来都不只是“有链接就能爬”那么简单。服务器返回的每一个头部字段，都可能在悄悄改变蜘蛛的抓取决策。Last-Modified作为一个基础的时间信号，虽然不起眼，却直接影响页面的抓取频率和新URL的发现速度。在蜘蛛池运营中，花一点时间把Last-Modified配置准确，比盲目增加外链和内链更省力，也更有长期价值。
先把站点的每个页面都检查一遍，确保时间戳真实有效，你会发现，搜索蜘蛛的抓取路径会慢慢变得更顺畅。