做抓取诊断，多数人习惯先从日志和 Sitemap 看起。但有一个更直接的办法：把自己当成蜘蛛，从首页出发沿着站内链接走一遍。这个方法不需要额外工具，只要关掉 JavaScript、清掉缓存，用一个干净的浏览器或简单的抓取插件一步步点。走查的目的不是看页面做得好不好看，而是回答一个问题——蜘蛛从入口进来之后，能不能顺着链接走到那些你希望它抓的页面。
走查前的准备：把环境调成蜘蛛的视角
- 关闭 JavaScript，只看服务端返回的 HTML 里有什么
- 用未登录、无 Cookie 的状态访问
- 不靠收藏夹和搜索框跳转，只走页面上的链接
这三条对应蜘蛛的几个默认状态：它拿到的多是服务端返回的 HTML，不带你的登录态，也不会记得上次走到哪里。环境不对，走查结果就没有参考价值。
第一遍：列出首页能直接到达的 URL
只看页面上普通链接标签指向的地址，把导航、页脚、正文里所有可点击的链接记下来。这一步的结果通常是一张几十条的清单。记录时注意区分两类链接：真正指向内容页的，和指向功能页、列表页的。前者是抓取路径的主干，后者是分支。
第二遍：从清单往下再走两层
随机挑五到十个二级页面，继续点它们正文里的链接，看能不能走到详情页。重点观察三件事：
- 到达一个内容页最少需要点几次，也就是首页到内页的层级深度
- 有多少页面只能从首页直接点进去，站内其它地方都不指向它
- 有多少页面只能靠分页、筛选或参数组合才能到达
如果一个栏目页点进去之后，正文区域只有“返回首页”和“更多”这类循环链接，那这条路对蜘蛛来说基本是断的。
第三遍：标记路径上的阻塞点
- 需要执行脚本才出现的链接——源码里没有，蜘蛛很可能看不到
- 需要点击“加载更多”才出现的列表——如果只是按钮而没有对应的可访问地址，路径到这里就停了
- 中间夹着一层甚至多层跳转——每跳一次都在消耗时间，跳得越多越容易中断
- 登录墙、强制弹窗、验证环节——直接掐断
- 参数可以无限组合的筛选导航——蜘蛛会在这里消耗掉大量抓取配额
把这些点标在路径图上，往往就能解释为什么某些页面日志里几乎不出现。
第四遍：和日志、Sitemap 对照
走查得到的是理论路径，日志记录的是实际路径，两者对照时重点看三类差集：
- Sitemap 里有、走查走不到、日志里也几乎不出现的地址
- 走查能到、日志里常见，但始终没有深入抓取的目录
- 日志里频繁出现、走查时却找不到任何入口的地址，多数是参数页或历史遗留
差集往往比总量更有信息量，它直接指向“路径断在哪里”和“入口该往哪补”。
走查之后先改什么
- 先补入口：把重要的深层页面在相关栏目、相关内容里加上自然内链
- 再减层级：三步能到的页面，不要放到五步之外
- 然后清理：对无价值的参数页、已下线的旧路径做规范化处理
- 最后才是提交：Sitemap 只收录已经能从站内走到的地址，顺序别搞反
建议每季度或每次改版后做一次走查，改版之后尤其要做，因为链接结构调整最容易在不经意间切断某条路径。
走查的价值不在于发现某个孤立的坏链，而在于确认从入口到目标的那条路是通的。路通了，后面的抓取和索引优化才有意义。