在做蜘蛛池和站点运营时，我們總是花大量精力去規划内鏈、提交Sitemap、調整URL结构，希望搜尋蜘蛛能更快地發現新頁面。但有一個HTTP头部字段，经常被忽视，却實實在在地影响着搜尋蜘蛛的抓取路径和效率，那就是Last-Modified。
简單来说，Last-Modified是服務器返回给客戶端的一個時間戳，表示该资源最後一次修改的時間。搜尋蜘蛛在抓取頁面时，會记錄這個時間。下一次再来时，蜘蛛可以通過條件請求（If-Modified-Since）带上這個時間，服務器如果發現内容没有變化，就會返回304狀態碼，告诉蜘蛛“不用重抓了”。這看起来只是一個小细节，但放在蜘蛛池的抓取场景里，它直接關系到URL發現的节奏和新頁面的收錄速度。
Last-Modified如何影响搜尋蜘蛛的URL發現
搜尋蜘蛛的抓取预算是有限的，它會根據頁面的重要程度和更新频率来分配每次訪問的頁面數量。如果一個站点的Last-Modified設定正确，蜘蛛就能快速判断哪些頁面值得重新抓取，哪些頁面可以跳過，從而把有限的预算留给真正有新内容的URL。反之，如果Last-Modified缺失或與内容實际修改時間不符，蜘蛛可能會陷入两個誤区：
- 重复抓取舊頁面：服務器没有返回304，蜘蛛每次都重新下载完整内容，消耗了抓取配額，導致新URL被發現的時間被無限延後。
- 忽视更新頁面：如果Last-Modified時間偶尔變化但内容没變，或者總是變化但内容實际没更新，蜘蛛會降低對该站点的信任，反而减少抓取频率。
所以，Last-Modified並不是一個简單的“時間戳”，它其實是搜尋蜘蛛判断URL發現優先級的一個重要信号。在蜘蛛池运营中，如果你發現新頁面迟迟不被抓取，可以先检查一下舊頁面的Last-Modified是否正常，往往問题就出在這里。
蜘蛛池中如何正确設定Last-Modified
對于不同的站点類型，設定Last-Modified的方式不太一样，但核心原則是一致的：确保時間戳與頁面真實修改時間同步。
静態頁面
如果是纯静態HTML文件，Web服務器會自動根據文件修改時間生成Last-Modified，不需要額外配置。但要注意，如果你通過FTP替換了文件，但文件系統時間没有正确更新，也可能導致時間不准。
動態頁面
對于PHP、Python、Java等動態生成的頁面，需要在代碼里主動輸出這個头。以PHP為例，可以在頁面輸出前加入類似這样的代碼：
header('Last-Modified: ' . gmdate('D, d M Y H:i:s', $lastModifiedTime) . ' GMT');
但這里有一個關键：$lastModifiedTime不能是“目前時間”或“服務器啟動時間”，而應该是该頁面對應的資料或内容最後一次被修改的時間。比如文章頁，可以取文章表中记錄的更新時間；列表頁，可以取该列表下最新一條資料的發布時間。
與ETag配合
除了Last-Modified，ETag是另一個常用實体标簽。两者可以配合使用，但要注意ETag的變化最好也以内容修改為依據，不要每次請求都生成不同的ETag，否則蜘蛛會被搞糊涂。
常见誤区與調整建议
在實际蜘蛛池运营中，Last-Modified的設定常常出現下面這些問题，需要特別注意。
- 不要伪造時間：有些运营者為了让蜘蛛認為頁面“新鲜”，把Last-Modified刻意设為目前時間。但蜘蛛抓回来後對比内容會發現並没有變化，反复几次後，蜘蛛很可能降低對站点的信任，甚至减少抓取量。
- 内容更新後不要忘记更新時間：当頁面内容被修改，但程序没有更新Last-Modified时，蜘蛛判断该頁面未更新，就不會重新抓取，導致修改内容長時間停留在舊版本。
- CDN導致的問题：如果使用CDN，要確認源站的Last-Modified能否被正确透传。有些CDN預設會缓存Last-Modified，導致回源时拿不到最新時間，需要主動配置。
- 不适用于所有頁面：對于登入頁、驗證碼等非内容頁面，不必刻意設定Last-Modified，保持預設即可。
另外，站点运营中還要注意：Last-Modified只對“真實更新”有意义。如果你的頁面通過JS動態加载内容，那么Last-Modified反映的只是HTML框架的修改時間，對蜘蛛判断實际内容的帮助有限。這種情况下，更好的做法是同时配合Sitemap中的lastmod标簽，让蜘蛛知道具体内容的變化。
總结：時間信号是抓取路径的一部分
搜尋蜘蛛的URL發現，從来都不只是“有連結就能爬”那么简單。服務器返回的每一個头部字段，都可能在悄悄改變蜘蛛的抓取决策。Last-Modified作為一個基础的時間信号，虽然不起眼，却直接影响頁面的抓取频率和新URL的發現速度。在蜘蛛池运营中，花一点時間把Last-Modified配置准确，比盲目增加外鏈和内鏈更省力，也更有長期價值。
先把站点的每個頁面都检查一遍，确保時間戳真實有效，你會發現，搜尋蜘蛛的抓取路径會慢慢變得更顺畅。