做蜘蛛池时，很多人把注意力全放在入口頁上，認為只要入口頁够多、連結够密，蜘蛛就會源源不断地進来。實际上，搜尋引擎發現 URL 的路径不止一條：sitemap、robots.txt 里的声明、站内内鏈、外部連結都在同时起作用。把這几條路径配合好，入口頁的压力會小一些，無效抓取也會少一些。

先理清有哪些發現路径

• 入口頁連結：最直接，蜘蛛顺着入口頁爬到目标 URL。
• sitemap：主動把 URL 列表交给搜尋引擎，适合批量、结构化的提交。
• robots.txt 中的 sitemap 声明：让蜘蛛知道 sitemap 放在哪個地址。
• 站内内鏈：目标站自身頁面之間的連結，决定蜘蛛能不能繼續往里走。
• 外部連結：其他站点的指向，属于站外發現渠道。

這几條路径不是互相替代的關系。入口頁负责“带路”，sitemap 负责“报备”，内鏈负责“續路”。缺哪一环，都會让某一部分 URL 長期不被訪問。

sitemap 在蜘蛛池里的角色

只放真實可抓取的地址

sitemap 里塞進打不開的、跳轉鏈過長的、返回 404 或 500 的 URL，除了占位置没有別的作用。投喂前先筛一遍狀態碼，把不健康的地址剔掉，這一步和入口頁投喂前的检查逻辑是一样的。

控制文件体积與分段

單個 sitemap 的 URL 數量和文件大小都有上限，超過就要拆成索引文件加子文件的形式。分段时可以按站点、语種或者頁面類型来切，方便後續單獨观察某一段的抓取情况。

lastmod 要寫得真實

把 lastmod 全部寫成目前時間，短期看起来“更新很勤”，但蜘蛛多次抓取後發現内容没變，對這個字段的信任度會下降。只有真正改動過的頁面才更新這個時間，長期更稳。

robots.txt 的几個注意点

• 不要用 Disallow 去屏蔽入口頁，否則蜘蛛连门都進不来。
• 可以在 robots.txt 里声明 sitemap 的完整地址，注意寫全协议和域名。
• 通配符和目錄規則容易誤伤，改動前先用几類典型 URL 驗證一遍。
• robots.txt 只能限制抓取，不等于禁止收錄，不要把這两件事混為一谈。

入口頁與 sitemap 怎么分工

入口頁适合承载需要被看见的重点 URL，通過連結文字和頁面结构传递一点上下文；sitemap 适合承载數量大、结构規則的長尾地址。两者重叠一部分没有問题，但不要把所有 URL 都堆到入口頁上，那样入口頁會變得又慢又杂。

入口頁解决的是蜘蛛今天来不来，sitemap 解决的是蜘蛛知不知道有這些地址。两者的评價指标不一样，別用同一個标准去衡量。

常见坑

• sitemap 提交後不看抓取日誌，以為提交了就一定會被訪問。
• 入口頁和 sitemap 里的 URL 寫法不一致，比如带參數、大小寫、末尾斜杠，被当成不同地址處理。
• 频繁改動 robots.txt，導致蜘蛛反复重新讀取，占用抓取预算。
• sitemap 長期不更新，里面残留大量已刪除頁面。

一個可落地的做法

1. 把待投喂的 URL 先過一遍存活與狀態碼检查。
2. 高價值地址放進入口頁，配上能說明内容的連結文字。
3. 其余地址按站点或頁面類型拆分進 sitemap，並在 robots.txt 中声明。
4. 每次投喂後固定時間看一次服務器日誌，记錄蜘蛛對入口頁和 sitemap 的訪問情况。
5. 根據日誌反馈調整下一批的分配比例，而不是凭感觉加量。

蜘蛛池只是發現路径中的一环。把 sitemap 和 robots.txt 也纳入同一套流程去管理，投喂的地址才不會一邊進一邊漏。做得细一点，效果不會立竿见影，但至少每一步都有據可查。