蜘蛛在站内走路的依据是链接，不是你的想象。如果某个页面没有任何入口链接，它就只能靠 Sitemap 或外链碰运气；如果某个页面只有入口没有出口，蜘蛛进去之后只能回头。这两类问题在日志里的表现很相似：抓取次数少、间隔长，或者干脆一次都没有。

先分清两类问题

孤儿页面

指站内没有任何链接指向的 URL。它可能是一个老活动页、一个被 CMS 断掉关联的商品、或者手工上传的落地页。Sitemap 里可能还留着它，但站内没有任何页面能点到它。

死胡同页面

指页面本身能被抓到，但正文里没有指向其他有效页面的链接，或者链接全部指向 404、登录页、外站。蜘蛛抓到这一页后，路径就断了。

怎么把它们找出来

不要靠猜，用数据对照更可靠：

• 日志与 Sitemap 对照：把 Sitemap 里的 URL 和最近 30 天日志中出现过的 URL 做差集。那些只被 Sitemap 列出、日志里从没出现过的地址，大概率是孤儿页。
• 工具抓取：用常见的站点抓取工具以首页为起点跑一遍，对比输出列表与实际页面总数，差出来的部分往往是缺少内链到达的页面。
• 后台内容列表：CMS 里的内容清单通常能直接看出哪些条目没有被任何栏目或专题引用。

把孤儿页面接回路径

接回来的方式按稳定性排序：

1. 加入相关栏目或聚合页的入口链接，这是最稳的，能被蜘蛛反复经过。
2. 详情页之间做相关推荐、上一篇下一篇，形成横向链接网络。
3. 站点地图作为兜底。它只解决“知道有这个 URL”，不解决后续抓取频率。

把页面放进 Sitemap 不等于被有效抓取。没有内链支撑的 URL，抓取优先级通常很低。

给死胡同页面留出口

一个页面至少应该给蜘蛛留一条继续走的路：

• 面包屑或返回栏目页的链接。
• 同分类下的其他内容链接。
• 标签、专题、上下篇导航。

要避免的是整页链接全都指向登录、购物车、外站或 404。这类链接对蜘蛛来说等同于没有出口。

修完之后看日志验证

改完内链不要立刻下结论，等一到两周，再看日志里这些 URL 的抓取次数和状态码分布。正常情况下，接回路径的页面会开始出现规律抓取；如果仍然没有动静，就检查是不是被 robots.txt 拦了、是不是全站链接都靠 JS 渲染、或者服务器对蜘蛛响应过慢。

最后提醒一点：URL 数量不是越多越好。把没有价值的死胡同页面和重复页面清理掉，收口到有效目录，往往比硬塞内链更划算。