搜尋蜘蛛只抓首頁、不抓内頁，是许多站点运营者會遇到的困惑。首頁被频繁訪問，但栏目頁和詳情頁却迟迟不被蜘蛛看到，甚至站内多數URL都無法進入抓取队列。本文從URL發現机制出發，整理一些常见的排查方向，供遇到類似情况的朋友參考。

先確認robots.txt是否誤伤了内頁

robots.txt是蜘蛛訪問站点的第一道门槛。有些站点為了控制抓取，會屏蔽带參數的URL或後台目錄，但如果規則寫得太宽，就可能把公開内容也挡在门外。比如“Disallow: /?”會禁掉所有带查询參數的地址，像“/index.php?id=123”這種未做伪静態的URL就不會被抓取。建议打開robots.txt，逐條检查是否有不合理的屏蔽規則，確認没有把需要蜘蛛發現的栏目或頁面類型包含在内。

内鏈结构是否足够清晰

蜘蛛發現新URL主要依靠外鏈和站内連結。如果首頁只放了少量入口，内頁之間又没有互相跳轉，蜘蛛就缺少持續的發現路径。例如，一篇詳情頁只有通過首頁搜尋才能進入，而搜尋依赖JS交互，那么蜘蛛很可能看不见這個頁面。更好的做法是，在頁面主体中直接使用静態的HTML連結，同时用面包屑、相關推荐、上一篇/下一篇等方式增加内頁之間的互相指向。

sitemap是否及时更新並正确提交

sitemap是主動告知蜘蛛URL列表的方式，但很多站点生成一次就不再更新，甚至把舊的或错誤的地址一直留在里面。新發布的文章没有被寫入sitemap，蜘蛛自然無法第一時間知道。同时，將sitemap地址添加到robots.txt中也是一個常用做法。此外，sitemap内不要堆砌大量低质或重复的URL，否則會分散蜘蛛的抓取注意力。

頁面本身是否具备可被抓取的條件

蜘蛛在抓取内頁之前會先進行一些基础判断。如果内頁返回404、需要登入，或者加载超时，蜘蛛都會放弃。特別是一些使用Ajax動態加载内容的頁面，如果URL没有直接出現在HTML源碼中，蜘蛛可能连地址都看不到。建议确保你的内頁是不需要登入即可訪問的稳定URL，並且返回200狀態碼，頁面下载耗时控制在3秒以内。

URL參數過多導致蜘蛛抓取预算浪費

很多内容管理系統會给同一個頁面生成多個带不同參數的URL，例如用于排序、追踪的尾巴。蜘蛛在追踪這些重复地址时會消耗抓取预算，導致真正不同的内頁得不到机會。對于這種情况，建议在中声明canonical标簽，把參數變体统一到标准URL上，或者通過robots.txt禁止抓取無關參數，從而让蜘蛛把有限资源放在核心内容上。

真實原因要去服務器日誌里找

搜尋引擎後台的抓取报告往往是匯總後的資料，不一定能反映细节。服務器日誌才是更直接的證據。查看蜘蛛（如Baiduspider、Googlebot）的訪問记錄，看它是否尝试過訪問某個内頁。如果日誌中根本没有出現该内頁，說明蜘蛛還没有發現這個URL；如果有請求却出現5xx错誤，說明服務器處理有問题。可以把日誌按URL维度篩選，重点观察内頁的抓取频率和响應狀態。

很多内頁不被抓取，並不是质量差，而是在“被發現”這一步就断掉了。日誌往往比平台資料更能說明問题。

可以尝试的調整方向

• 检查首頁是否有纯文本形式的核心栏目連結，不要用图片或图标代替。
• 為每個詳情頁添加相關文章連結，形成内部連結循环。
• 定期生成並提交sitemap，确保新URL在24小时内出現在sitemap中。
• 避免使用無限滚動或“点击加载更多”来展示重要内容入口。
• 保證内頁响應速度稳定，尤其是Web服務器不频繁超时。

遇到只抓首頁的情况，不要急着反复推送内頁，先判断問题出在連結發現、訪問權限還是頁面质量上。蜘蛛對首頁的信任不會自動扩展到内頁，只要内頁的URL發現路径是畅通的，抓取和收錄的机會自然會慢慢增加。