搜索蜘蛛只抓首页、不抓内页，是许多站点运营者会遇到的困惑。首页被频繁访问，但栏目页和详情页却迟迟不被蜘蛛看到，甚至站内多数URL都无法进入抓取队列。本文从URL发现机制出发，整理一些常见的排查方向，供遇到类似情况的朋友参考。

先确认robots.txt是否误伤了内页

robots.txt是蜘蛛访问站点的第一道门槛。有些站点为了控制抓取，会屏蔽带参数的URL或后台目录，但如果规则写得太宽，就可能把公开内容也挡在门外。比如“Disallow: /?”会禁掉所有带查询参数的地址，像“/index.php?id=123”这种未做伪静态的URL就不会被抓取。建议打开robots.txt，逐条检查是否有不合理的屏蔽规则，确认没有把需要蜘蛛发现的栏目或页面类型包含在内。

内链结构是否足够清晰

蜘蛛发现新URL主要依靠外链和站内链接。如果首页只放了少量入口，内页之间又没有互相跳转，蜘蛛就缺少持续的发现路径。例如，一篇详情页只有通过首页搜索才能进入，而搜索依赖JS交互，那么蜘蛛很可能看不见这个页面。更好的做法是，在页面主体中直接使用静态的HTML链接，同时用面包屑、相关推荐、上一篇/下一篇等方式增加内页之间的互相指向。

sitemap是否及时更新并正确提交

sitemap是主动告知蜘蛛URL列表的方式，但很多站点生成一次就不再更新，甚至把旧的或错误的地址一直留在里面。新发布的文章没有被写入sitemap，蜘蛛自然无法第一时间知道。同时，将sitemap地址添加到robots.txt中也是一个常用做法。此外，sitemap内不要堆砌大量低质或重复的URL，否则会分散蜘蛛的抓取注意力。

页面本身是否具备可被抓取的条件

蜘蛛在抓取内页之前会先进行一些基础判断。如果内页返回404、需要登录，或者加载超时，蜘蛛都会放弃。特别是一些使用Ajax动态加载内容的页面，如果URL没有直接出现在HTML源码中，蜘蛛可能连地址都看不到。建议确保你的内页是不需要登录即可访问的稳定URL，并且返回200状态码，页面下载耗时控制在3秒以内。

URL参数过多导致蜘蛛抓取预算浪费

很多内容管理系统会给同一个页面生成多个带不同参数的URL，例如用于排序、追踪的尾巴。蜘蛛在追踪这些重复地址时会消耗抓取预算，导致真正不同的内页得不到机会。对于这种情况，建议在中声明canonical标签，把参数变体统一到标准URL上，或者通过robots.txt禁止抓取无关参数，从而让蜘蛛把有限资源放在核心内容上。

真实原因要去服务器日志里找

搜索引擎后台的抓取报告往往是汇总后的数据，不一定能反映细节。服务器日志才是更直接的证据。查看蜘蛛（如Baiduspider、Googlebot）的访问记录，看它是否尝试过访问某个内页。如果日志中根本没有出现该内页，说明蜘蛛还没有发现这个URL；如果有请求却出现5xx错误，说明服务器处理有问题。可以把日志按URL维度筛选，重点观察内页的抓取频率和响应状态。

很多内页不被抓取，并不是质量差，而是在“被发现”这一步就断掉了。日志往往比平台数据更能说明问题。

可以尝试的调整方向

• 检查首页是否有纯文本形式的核心栏目链接，不要用图片或图标代替。
• 为每个详情页添加相关文章链接，形成内部链接循环。
• 定期生成并提交sitemap，确保新URL在24小时内出现在sitemap中。
• 避免使用无限滚动或“点击加载更多”来展示重要内容入口。
• 保证内页响应速度稳定，尤其是Web服务器不频繁超时。

遇到只抓首页的情况，不要急着反复推送内页，先判断问题出在链接发现、访问权限还是页面质量上。蜘蛛对首页的信任不会自动扩展到内页，只要内页的URL发现路径是畅通的，抓取和收录的机会自然会慢慢增加。