蜘蛛抓取一個頁面时，拿到的是服務器在那一刻返回的 HTML。如果頁面里有一部分連結每次都不一样——今天推荐 A，明天推荐 B，不同訪客看到的也不一样——蜘蛛每次回来走的路就随之變化。這類“連結时有时無”的情况比死鏈更难排查：它不报错、不返回異常狀態碼，只是让抓取路径變得没法复盘。
蜘蛛看到的是“某一次”的頁面
很多站点的模板里都存在這样一類区域：随机推荐、猜你喜欢、热门榜單、正在浏览的商品。從产品角度看這没問题，甚至是必要的。但要注意，蜘蛛既没有登入態，也没有歷史行為資料，它拿到的随机结果和你用浏览器打開时看到的常常不是同一批連結。
结果就是：同一個 URL，抓取工具今天记錄到的出口連結是 12 條，明天可能是 8 條；其中有一部分重叠，一部分永遠只在某一次請求里出現過。如果只靠一次抓取结果来判断站点结构，很容易得出错誤结论。
哪些模块最容易让連結忽隐忽現
- 随机推荐位：從内容库里随机抽几條，連結集合每天都不一样。
- 個性化模块：依據 cookie、登入態或地域返回不同内容，未登入抓取通常拿到預設分支。
- AB 測試分支：同一 URL 按流量比例返回两套模板，連結位置和數量都不同。
- 时效性榜單：按小时或按天刷新，舊條目被替換後，原先的入口路径消失。
- 懒加载與浮层：連結在首屏 HTML 里不出現，需要滚動或交互才注入，抓取时可能讀不到。
這五類模块的共同点是：連結的确存在，只是不稳定。蜘蛛不會因為它們不稳定而报错，只會安静地少走一些路。
路径不稳定带来的三個實际問题
新連結發現速度被稀释
入口位置被随机内容占據，固定内容的曝光机會就變少了。一個新頁面如果只能靠推荐位被發現，它被走到的概率取决于随机命中，而不是站点结构。這也是很多新内容“發了很久却迟迟没有動静”的原因之一。
同一批 URL 被反复抓取
随机模块每次吐出不同 URL，蜘蛛每次都要重新請求這些頁面，驗證它們是否值得繼續走。抓取額度被消耗在大量短命連結上，真正需要更新的頁面反而排不上队。
路径無法复盘
排查抓取問题时，通常要回答“蜘蛛是從哪條連結走到這個頁面的”。如果連結本身在變，日誌里的来源就失去了參考價值，問题只能靠猜。
让關键路径先稳定下来
不需要把所有動態模块都改成静態，重点是分清哪些連結承担“路径”职责，哪些只是“内容曝光”。
- 把主干連結固定在确定性区域：導航、面包屑、分類頁列表、相關栏目，這些位置的連結應当是服務端直接輸出、每次請求都一致的。
- 给随机模块设一個有限的候選池：與其從全站随机抽，不如限定在若干固定栏目内轮換，减少連結集合的波動幅度。
- 重要入口不要只放在随机位：新栏目、新专题上线时，除了推荐位，再给它一個稳定的静態入口。
- AB 測試尽量用同一套連結结构：實驗可以改文案、改按钮样式，但頁面出口的連結集合最好保持一致，否則測試结论和抓取结果會互相干扰。
- 懒加载区域保持首屏可讀：關键連結不要依赖滚動或点击才注入，能直接輸出的就直接輸出。
怎么驗證連結是否稳定
方法很朴素：對同一個 URL 连續發起多次不带 cookie 的請求，把返回 HTML 里的站内連結抽出来做對比。如果几次结果差异很大，就說明這個頁面存在随机分支。
- 關注差异集中在哪個区域，是正文推荐還是侧栏榜單。
- 看差异里有没有本该稳定出現的主干入口，比如分類頁、列表頁。
- 對照服務器日誌，確認這些波動連結是否真的被反复抓取。
做完這几步，通常能明确知道：哪些連結是路径的一部分，必须固定；哪些連結只是内容曝光，波動可以接受。
蜘蛛不會判断“這個連結重不重要”，它只會顺着目前這次看到的 HTML 往下走。路径稳定，抓取才有規律可循；路径随机，站点结构就只能靠运气被走通。