蜘蛛池入口頁每天都在加新連結，日誌里搜尋蜘蛛却反复抓首頁、栏目頁這些舊地址，新放上去的目标 URL 迟迟没有動静——這是站点运营里比較常见的一種情况。它未必代表入口頁坏了，更多是抓取路径、頁面结构或服務器响應上出了問题。下面按排查顺序拆開讲。

一、先確認新連結是不是真的可见

很多情况下，新連結只存在于資料库或者後台列表里，前端渲染出来时被折叠、被分頁挡住，或者要点击“加载更多”才出現。搜尋蜘蛛拿到的是 HTML 源碼，不是你的後台视图。

• 用查看源代碼的方式打開入口頁，搜尋目标 URL 是否出現在源碼里；只在開發者工具的 Elements 面板里看到，說明是脚本動態生成的。
• 检查新連結是否被放在需要交互才能展開的区域，或者被 CSS 隐藏、被覆盖在其他元素下面。
• 確認新連結没有被 robots.txt、頁面 meta robots 拦住，也没有落在被規則屏蔽的目錄里。

二、搜尋蜘蛛為什么只顾舊頁面

1. 内鏈层級太深

新連結如果只從很深的列表頁進入，中間要跳三四层才能到達，蜘蛛在有限预算内會優先走短路径的舊連結，新地址自然排在後面。

2. 舊頁面本身還在變動

舊頁面持續更新内容、參數、分頁，每次抓取都發現“有新東西”，蜘蛛自然把预算花在那里，新連結的回訪顺序被推後。

3. 入口頁响應速度慢或狀態不稳定

抓取时超时、返回 5xx、返回内容為空，都會让蜘蛛降低對该目錄的回訪频率。新連結往往集中在新目錄下，受影响的正是它們。

4. 新連結集中涌現

一次性放入几百上千條，蜘蛛會分批處理，看起来就像“只抓舊的”。這属于节奏問题，不一定是異常。

三、按日誌顺序排查

1. 筛出入口頁的抓取记錄，看搜尋蜘蛛最近一周抓取的 URL 分布，是集中在舊路径，還是已经部分覆盖新路径。
2. 對比服務器日誌里新連結的首次出現時間，判断是“没被抓”還是“抓了但没记錄到你所看的那份日誌”。
3. 检查新連結所在目錄是否被單獨規則限制，包括 robots、CDN 回源規則、防火墙拦截。
4. 關注返回碼，重点看 301 鏈路過長、302 循环、403 以及空内容返回。

四、可以尝试的調整

• 把重要新連結放進入口頁更靠前的位置，缩短点击深度，不要只依赖頁面末尾的“更多”列表。
• 控制單次新增數量，分批放出，让抓取节奏跟得上，避免全部堆在同一天。
• 用 sitemap 或主動推送补充發現渠道，但這只是补充，不能替代站内連結结构。
• 稳定服務器响應，减少超时和 5xx，回訪频率通常會更容易保持平稳。
• 保持入口頁内容有實际差异，避免整站模板化，否則新頁面容易被当作重复内容處理。

五、观察到什么程度算正常

如果搜尋蜘蛛在几天内已经抓取了部分新連結，只是顺序和舊頁面交错，通常属于正常的抓取收敛過程，耐心观察即可。如果连續一周以上新連結完全没有進入日誌，而且返回碼正常、源碼里也能看到連結，那就要回到内鏈结构和服務器响應上做調整，而不是急着換域名或再堆一批入口頁。

抓取频次是结果，不是開關。新連結不被跟進，多數时候要回到“連結能不能被看到、路径够不够短、服務器答不答得上来”這三件事上找原因。