做蜘蛛池的人常常會想一個問题：入口頁只给搜尋蜘蛛看連結，普通訪客打開是一個正常頁面或者直接跳走，這样是不是既能被蜘蛛抓到目标 URL，又不會被人看到？這個思路就是典型的按 UA 展示不同内容，也就是常说的伪装（cloaking）。它技術上不难實現，但風險往往比想象中大。
搜尋蜘蛛看到的版本，可能和浏览器里完全不一样
搜尋蜘蛛抓取时會带自己的 UA，但現在的抓取流程並不只靠 UA 字符串判断。很多搜尋引擎會對比不同 UA、不同来源拿到的 HTML 内容，也會用渲染服務执行頁面脚本。如果服務端根據 UA 返回完全不同的结构，差异很容易被放大记錄，影响的不只是這一個入口頁。
入口頁上常见的 UA 判断做法
- 服務端根據 User-Agent 返回不同的 HTML，對蜘蛛輸出連結列表，對訪客輸出普通頁面。
- 用 JavaScript 判断 navigator.userAgent，再動態寫入目标連結。
- 對非蜘蛛 UA 直接 302 跳到一個與入口頁無關的頁面。
- 用 IP 段判断，配合反向 DNS 校驗来识別蜘蛛来源。
這些做法在技術上都跑得通，但它們都在同一條线上：蜘蛛看到的内容和用戶看到的内容不一致。
搜尋蜘蛛為什么對“看人下菜碟”比較敏感
搜尋引擎的基本立场是：蜘蛛看到的内容應與用戶看到的實质一致。如果蜘蛛拿到的是連結列表，用戶拿到的是另一套頁面甚至空頁面，這種差异一旦被识別，轻則這段内容不被信任，重則入口頁整体抓取频率下降，连带的域名也可能被降權。這里说的是風險概率，不是必然结果，但代價通常不小。
蜘蛛看到什么、用戶看到什么，两者差得越大，入口頁能稳定贡献 URL 發現的時間就越短。
真要做差异化展示，邊界在哪里
- 差异只体現在样式、排版、模块顺序上，連結结构保持一致。
- 對無 JS 或無登入环境给出可讀的降級内容，而不是空白頁。
- 不因 UA 改變核心連結，至少保證普通訪客也能正常点到目标地址。
- 避免用 JS 判断 UA 後再注入連結，這種方式既不可靠，也更容易被归入伪装。
更稳妥的做法
- 入口頁就做成一個能正常打開的普通頁面，目标連結用可点击的超連結直接寫在 HTML 里，不依赖脚本。
- 不想被同行或訪客注意到，可以用 robots.txt 控制抓取范围，但要清楚它只影响抓取行為，不等于這個 URL 不會被別人知道或引用。
- 把入口頁放在不參與主体收錄的獨立域名或子域上，和主站保持区隔。
- 控制入口頁數量與更新节奏，把主要精力放回目标站的内容质量上，URL 發現才更容易持續。
几個常见疑問
入口頁對普通訪客直接返回 404，會影响蜘蛛抓取吗？
可能會出現影响。入口頁只對蜘蛛返回 200、對訪客返回 404，這種狀態不一致本身就是一種信号。入口頁長期狀態混乱，抓取频率和稳定性都容易變差。
用 JS 判断 UA 再寫入連結，搜尋蜘蛛會执行吗？
主流搜尋蜘蛛大多具备渲染能力，但渲染有延迟、有配額，也不是所有頁面都會被完整渲染。即便能渲染出来，用 UA 做開關依然属于伪装思路，不建议把它当成安全通道。
入口頁内容對蜘蛛和訪客一致，就绝對安全吗？
不能這么说。入口頁的作用是提供連結路径，如果頁面本身没有實质内容、連結指向的站点质量又一般，仍然可能被按低质頁面處理。
小结
入口頁的核心目标，是让目标 URL 被稳定地發現，而不是短期内骗過某一次抓取。與其在 UA 判断上做文章，不如把入口頁做得普通一些：能正常打開、連結是真實超連結、内容與目标站不冲突。伪装換来的抓取量往往不持久，反而會让入口頁更早失效。