入口頁能抓取，蜘蛛才會繼續走
蜘蛛池的作用是让搜尋引擎蜘蛛發現一批 URL，而入口頁就是蜘蛛進入的起点。很多配置問题不在服務器，也不在内容，而在頁面級标簽：蜘蛛明明已经来了，却因為 robots.txt、meta robots 或 canonical 被挡在门外，或者被引到別處。结果日誌里可能有抓取记錄，但目标 URL 迟迟不被發現。
robots.txt 的三類常见誤伤
robots.txt 是蜘蛛抓取前第一道检查。它寫错时，入口頁和頁面里的連結都可能直接失去被抓取的机會。
- 全站 Disallow：複製模板时带了 Disallow: /，整個站点的抓取都會被拦住。蜘蛛不會進入入口頁，頁面里的目标連結自然也不會被發現。
- 誤屏蔽關键路径：例如 Disallow: /go/ 或 Disallow: /*?url=，把中轉頁、跳轉參數全挡掉。蜘蛛不會進入這些 URL，後面的目标頁自然也难被發現。
- 規則寫错導致整段失效：比如把 User-agent 拼错、把 Allow 和 Disallow 顺序寫反，或者用错通配符。不同蜘蛛對语法的容错不一样，最好用搜尋资源平台的 robots 測試工具逐條驗證。
meta robots 與 noindex 的常见誤解
有人以為頁面加了 noindex 蜘蛛就不會抓取，其實 noindex 主要是“別索引”，頁面本身仍可能被抓取，頁面里的連結也可能被繼續發現。真正影响連結跟踪的是 nofollow。但這不代表入口頁可以随便 noindex：長期不索引的頁面，蜘蛛回訪频率通常會降低，入口頁的“引子”作用會變弱。
如果你的入口頁只是临时中轉，可以用 noindex 控制索引狀態，但要確認没有同时加 nofollow，否則頁面里的目标連結很难被传递出去。更常见的错誤是模板里預設带了 noindex,nofollow，上线时没删，蜘蛛来了等于白来。
canonical 指错，入口頁可能被“合並”掉
canonical 是给搜尋引擎的提示，不是强制指令。入口頁如果 canonical 到一個不相關的目标頁，搜尋引擎可能把入口頁的信号和索引都归到目标頁，入口頁自身反而难以作為獨立抓取入口存在。對于需要持續吸引蜘蛛的入口頁，一般建议 canonical 指向自身，或者至少指向同主题、同語言的可訪問版本。不要為了“集中權重”把大量入口頁都 canonical 到首頁或活動頁，那會让入口頁失去獨立被抓取的理由。
上线前的检查清單
- 用浏览器直接訪問入口頁，查看源代碼中是否有 noindex、nofollow、none。
- 检查 HTTP 响應头里是否通過 X-Robots-Tag 設定了禁止抓取或索引的規則。
- 確認 robots.txt 没有屏蔽入口頁路径，也没有用全局 Disallow: /。
- 检查 canonical 是否指向自身或合理的規范版本，而不是無關頁面。
- 在搜尋资源平台做一次抓取測試，或者观察日誌里蜘蛛到達後是否繼續請求頁面内的連結。
入口頁的标簽配置不是“设了就完事”，它直接决定蜘蛛是繼續走，還是到了门口就掉头。
蜘蛛池的效果来自一连串可抓取、可跟踪的路径。把 robots、meta 和 canonical 這些基础項核對清楚，比反复增加入口頁數量更實际。配置越干净，蜘蛛到達後繼續發現 URL 的概率才越稳定。