做抓取诊断，多數人习惯先從日誌和 Sitemap 看起。但有一個更直接的办法：把自己当成蜘蛛，從首頁出發沿着站内連結走一遍。這個方法不需要額外工具，只要關掉 JavaScript、清掉缓存，用一個干净的浏览器或简單的抓取插件一步步点。走查的目的不是看頁面做得好不好看，而是回答一個問题——蜘蛛從入口進来之後，能不能顺着連結走到那些你希望它抓的頁面。
走查前的准备：把环境調成蜘蛛的视角
- 關閉 JavaScript，只看服務端返回的 HTML 里有什么
- 用未登入、無 Cookie 的狀態訪問
- 不靠收藏夹和搜尋框跳轉，只走頁面上的連結
這三條對應蜘蛛的几個預設狀態：它拿到的多是服務端返回的 HTML，不带你的登入態，也不會记得上次走到哪里。环境不對，走查结果就没有參考價值。
第一遍：列出首頁能直接到達的 URL
只看頁面上普通連結标簽指向的地址，把導航、頁脚、正文里所有可点击的連結记下来。這一步的结果通常是一張几十條的清單。记錄时注意区分两類連結：真正指向内容頁的，和指向功能頁、列表頁的。前者是抓取路径的主干，後者是分支。
第二遍：從清單往下再走两层
随机挑五到十個二級頁面，繼續点它們正文里的連結，看能不能走到詳情頁。重点观察三件事：
- 到達一個内容頁最少需要点几次，也就是首頁到内頁的层級深度
- 有多少頁面只能從首頁直接点進去，站内其它地方都不指向它
- 有多少頁面只能靠分頁、篩選或參數组合才能到達
如果一個栏目頁点進去之後，正文区域只有“返回首頁”和“更多”這類循环連結，那這條路對蜘蛛来说基本是断的。
第三遍：标记路径上的阻塞点
- 需要执行脚本才出現的連結——源碼里没有，蜘蛛很可能看不到
- 需要点击“加载更多”才出現的列表——如果只是按钮而没有對應的可訪問地址，路径到這里就停了
- 中間夹着一层甚至多层跳轉——每跳一次都在消耗時間，跳得越多越容易中断
- 登入墙、强制彈窗、驗證环节——直接掐断
- 參數可以無限组合的篩選導航——蜘蛛會在這里消耗掉大量抓取配額
把這些点标在路径图上，往往就能解释為什么某些頁面日誌里几乎不出現。
第四遍：和日誌、Sitemap 對照
走查得到的是理论路径，日誌记錄的是實际路径，两者對照时重点看三類差集：
- Sitemap 里有、走查走不到、日誌里也几乎不出現的地址
- 走查能到、日誌里常见，但始终没有深入抓取的目錄
- 日誌里频繁出現、走查时却找不到任何入口的地址，多數是參數頁或歷史遗留
差集往往比總量更有信息量，它直接指向“路径断在哪里”和“入口该往哪补”。
走查之後先改什么
- 先补入口：把重要的深层頁面在相關栏目、相關内容里加上自然内鏈
- 再减层級：三步能到的頁面，不要放到五步之外
- 然後清理：對無價值的參數頁、已下线的舊路径做規范化處理
- 最後才是提交：Sitemap 只收錄已经能從站内走到的地址，顺序別搞反
建议每季度或每次改版後做一次走查，改版之後尤其要做，因為連結结构調整最容易在不经意間切断某條路径。
走查的價值不在于發現某個孤立的坏鏈，而在于確認從入口到目标的那條路是通的。路通了，後面的抓取和索引優化才有意义。