有的頁面狀態碼正常、内容也没問题，寫進 sitemap 好几個月，服務器日誌里却几乎看不到蜘蛛的訪問记錄。顺着連結關系查一遍才發現，全站上下没有任何一個内鏈指向它，導航、列表頁、相關推荐里都没有。這類頁面一般叫孤立頁面，它並不是哪里寫错了，而是缺少被走到的路径。
蜘蛛靠連結走路径，sitemap 只是线索
sitemap 的作用是告诉搜尋引擎這里有哪些地址，但抓取时爬虫仍會優先沿着站内連結结构去發現和重訪頁面。一個頁面如果長期没有内鏈入口，即使出現在 sitemap 里，也往往只是偶尔被抓一次，很难進入稳定的重訪节奏。更現實的問题是：内鏈同时承载着權重與主题關联的信号，孤立頁面這两样都拿不到，在栏目内部也形不成關系。
怎么把孤立頁面找出来
- 對比 sitemap 與内鏈：用爬虫工具抓一遍全站，導出被内鏈引用的 URL 列表，再和 sitemap 地址列表做差集，差集部分就是没有入口的候選。
- 看服務器日誌：把最近一段時間的蜘蛛訪問 URL 去重，與已知頁面列表對照，長期零訪問且站内流量也為零的地址值得單獨看一眼。
- 從後台内容列表反查：CMS 里已發布的文章和頁面，逐個確認它至少能在某個栏目列表、标簽頁或聚合頁里出現。
- 留意站内搜尋词：用戶能搜到、但頁面上没有任何入口指向的内容，通常就是被埋起来的那部分。
孤立頁面一般是從哪来的
栏目改版與歷史沉淀
栏目结构調整後，老頁面從列表里被拿掉，但地址還留着；标簽頁、专题頁下线之後，下面挂着的文章也跟着没了入口。
程序自動生成的頁面
分頁、篩選、标簽组合、用戶主頁等由模板批量产出的地址，如果没有在合适的列表里互相连接，很容易成片變成孤立頁面。
内容合並與迁移
把几篇文章合並成一篇，或者從舊系統搬到新系統之後，新地址只更新了 sitemap，却没有同步补上内鏈。
找到之後的處理思路
- 能补内鏈的先补内鏈。在正文里用自然的锚文本鏈到它，或在同栏目文章的相關推荐位置挂上入口，通常比只改 sitemap 更有效。
- 值得保留的，给它一個稳定位置。比如放回栏目列表、专题頁或導航的下級分類，让它有一個固定的上級頁面。
- 没有獨立價值的，考虑合並或重定向。内容與其他頁面高度重合时，硬留一個孤立地址意义不大。
- 确實不需要被搜到的，明确處理。内部工具頁、临时活動頁可以用 noindex 或權限控制，避免它們混在頁面清單里干扰判断。
补完内鏈不要期待立刻见效。爬虫重新走到這些頁面、並把它纳入常規抓取，通常需要一段時間的观察，重点看的是訪問频次有没有從零變成偶發。
把這項检查變成常規動作
孤立頁面不是一次性問题，每次改版、每次批量發布、每次内容合並都可能新增一批。比較實际的做法是：改版前先導出内鏈關系留档，改版後隔两三周抓一次全站，對比差集有没有異常增大；發布新内容时，顺手確認它至少有一個内鏈入口。
這件事的價值不在于多让几個頁面被收錄，而在于让站内連結结构如實反映内容關系。当每個頁面都能顺着連結走到，栏目之間的關联也會更清楚，蜘蛛的抓取路径自然更顺。