做站点运营的人多半见過這样的頁面：打開速度不慢，内容也齐全，但搜尋蜘蛛看到的 HTML 里几乎找不到可抓的連結。排查到最後，問题常常不在服務器，也不在内鏈規划，而是被一层“礼貌”挡住了——Cookie 同意彈窗、首訪引導层、订阅浮层，或者干脆是“登入後查看全文”。
先分清：抓取看到的是 HTML，渲染是後一步
搜尋蜘蛛第一次取回頁面时，拿到的是服務端返回的原始 HTML。只有在需要渲染时，才會执行 JavaScript，生成最终 DOM。如果連結是在用戶点击“接受 Cookie”之後由 JS 注入的，那么這一次的連結發現就可能打折扣——渲染與否、渲染到什么程度，都不是站点能完全掌控的變量。
Cookie 彈窗的三種常见實現
1. 全屏遮罩，解除後再渲染正文
這類實現往往把正文和連結放在“同意”的回調里异步加载。對用戶影响不大，對抓取却等于把主要内容推迟到一次交互之後。更稳妥的做法是：正文照常輸出，彈窗只是一层视觉覆盖，不改變 DOM 里已有的連結。
2. 服務端按 UA 或首訪标记判断
有的站点檢測到特定 UA 就不展示彈窗，這本身可以接受，前提是判断逻辑別誤伤——例如把正常訪問誤判為“需登入”，或者在跳轉中丢掉了原始地址，形成一串没有意义的重定向。
3. 彈窗内容通過 iframe 引入
彈窗里的文字若放在獨立 iframe 中，連結對主文档而言属于外部资源，通常不會被当作正文連結處理。运营层面不妨把它当成一個提醒：真正想被發現的連結，尽量寫在主文档里。
登入墙與付費墙的分寸
登入墙不是不能有，關键是把邊界画清楚：
- 完全拦截：整站或整栏目必须登入，這類 URL 不必大量對外暴露，站点地图里也不必提交。
- 部分预览：首段或前几屏可见，其余折叠。此时至少保證预览部分含有關键内鏈，让蜘蛛知道這個頁面所處的位置與主题。
- 僅互動需登入：评论、收藏、下载需要登入，正文與連結公開。這是對抓取相對友好的一種折中。
需要留意的是，爬虫通常不具备登入態。若列表頁的連結只在登入後才輸出，那么栏目頁在蜘蛛眼里可能表現為“没有出鏈的孤岛”，栏目規划得再合理也难以把權重传導下去。
一份可落地的自查清單
- 關閉 JavaScript 抓取一次頁面，看看還剩多少連結。剩下的那部分，是抓取最稳的部分。
- 用普通 UA 與常见爬虫 UA 各請求一次，對比返回的 HTML 大小與狀態碼，偏差過大就值得查原因。
- 检查彈窗是否改變了 DOM 结构。视觉遮罩可以，替換正文不建议。
- 確認登入後的内容有對應的公開入口頁，而不是僅靠站内搜尋才能到達。
- 留意重定向鏈：從被拦截頁跳到登入頁时，別把原始 URL 丢失成參數拼出来的新地址。
和 URL 發現的關系
URL 發現的本质是“從一個已知地址走到下一個地址”。入口如果被彈窗、登入、iframe 拿走了，鏈路就断在第一步。站点运营里很多抓取問题，最後都归结為一句朴素的话：把連結寫進 HTML，让人和蜘蛛都能顺着点下去。
彈窗可以留住用戶，但不该拦住發現。先保證連結在 HTML 里，再谈交互体驗；顺序反了，代價往往在後期的發現與流量上慢慢顯現。
不承诺具体的收錄结果，也不存在一劳永逸的設定。定期用日誌和渲染對比做检查，比一次性改完更可靠。