蜘蛛池入口页每天都在加新链接，日志里搜索蜘蛛却反复抓首页、栏目页这些旧地址，新放上去的目标 URL 迟迟没有动静——这是站点运营里比较常见的一种情况。它未必代表入口页坏了，更多是抓取路径、页面结构或服务器响应上出了问题。下面按排查顺序拆开讲。
一、先确认新链接是不是真的可见
很多情况下，新链接只存在于数据库或者后台列表里，前端渲染出来时被折叠、被分页挡住，或者要点击“加载更多”才出现。搜索蜘蛛拿到的是 HTML 源码，不是你的后台视图。
- 用查看源代码的方式打开入口页，搜索目标 URL 是否出现在源码里；只在开发者工具的 Elements 面板里看到，说明是脚本动态生成的。
- 检查新链接是否被放在需要交互才能展开的区域，或者被 CSS 隐藏、被覆盖在其他元素下面。
- 确认新链接没有被 robots.txt、页面 meta robots 拦住，也没有落在被规则屏蔽的目录里。
二、搜索蜘蛛为什么只顾旧页面
1. 内链层级太深
新链接如果只从很深的列表页进入，中间要跳三四层才能到达，蜘蛛在有限预算内会优先走短路径的旧链接，新地址自然排在后面。
2. 旧页面本身还在变动
旧页面持续更新内容、参数、分页，每次抓取都发现“有新东西”，蜘蛛自然把预算花在那里，新链接的回访顺序被推后。
3. 入口页响应速度慢或状态不稳定
抓取时超时、返回 5xx、返回内容为空，都会让蜘蛛降低对该目录的回访频率。新链接往往集中在新目录下，受影响的正是它们。
4. 新链接集中涌现
一次性放入几百上千条，蜘蛛会分批处理，看起来就像“只抓旧的”。这属于节奏问题，不一定是异常。
三、按日志顺序排查
- 筛出入口页的抓取记录，看搜索蜘蛛最近一周抓取的 URL 分布，是集中在旧路径，还是已经部分覆盖新路径。
- 对比服务器日志里新链接的首次出现时间，判断是“没被抓”还是“抓了但没记录到你所看的那份日志”。
- 检查新链接所在目录是否被单独规则限制，包括 robots、CDN 回源规则、防火墙拦截。
- 关注返回码，重点看 301 链路过长、302 循环、403 以及空内容返回。
四、可以尝试的调整
- 把重要新链接放进入口页更靠前的位置，缩短点击深度，不要只依赖页面末尾的“更多”列表。
- 控制单次新增数量，分批放出，让抓取节奏跟得上，避免全部堆在同一天。
- 用 sitemap 或主动推送补充发现渠道，但这只是补充，不能替代站内链接结构。
- 稳定服务器响应，减少超时和 5xx，回访频率通常会更容易保持平稳。
- 保持入口页内容有实际差异，避免整站模板化，否则新页面容易被当作重复内容处理。
五、观察到什么程度算正常
如果搜索蜘蛛在几天内已经抓取了部分新链接，只是顺序和旧页面交错，通常属于正常的抓取收敛过程，耐心观察即可。如果连续一周以上新链接完全没有进入日志，而且返回码正常、源码里也能看到链接，那就要回到内链结构和服务器响应上做调整，而不是急着换域名或再堆一批入口页。
抓取频次是结果，不是开关。新链接不被跟进，多数时候要回到“链接能不能被看到、路径够不够短、服务器答不答得上来”这三件事上找原因。