很多做入口頁的人會遇到這样的情况：日誌里能看到搜尋蜘蛛訪問，目标 URL 也确實被抓過一次，但過了一段時間去查，頁面依然没有出現在索引里。這时候容易怀疑入口頁没生效，其實需要把“被發現”“被抓取”“被索引”拆開看。
發現、抓取、索引是三件不同的事
搜尋蜘蛛在入口頁上讀到一條連結，這只是URL 發現。它愿不愿意去抓、什么时候去抓，是抓取調度。抓回来之後要不要放進索引，是内容评估。三個环节各有各的判断依據，入口頁能直接影响第一环，間接影响第二环，基本影响不了第三环。
- 發現：連結能被解析出来，且頁面本身没有被明确屏蔽
- 抓取：目标站的權重、服務器响應、抓取配額、URL 返回狀態
- 索引：目标頁内容质量、與站内已有内容的重复度、站点整体表現
入口頁能管到的范围
一、連結是否真的可發現
先確認目标連結是以搜尋蜘蛛能讀到的形式出現在 HTML 里的。只靠 JavaScript 渲染、需要交互才展開、被 rel 属性覆盖的連結，都可能讀不到。另外也要排除 robots.txt 是否拦住了蜘蛛對入口頁本身的抓取，入口頁都進不去，里面的連結自然無從谈起。
二、入口頁自身的响應
入口頁响應慢、频繁返回 5xx、内容為空或跳轉到登入頁，都會让搜尋蜘蛛降低對這個入口頁的訪問频率。稳定、快速、返回 200 的頁面，更容易被持續回訪。
三、連結規模與更新节奏
一次堆几千條連結，蜘蛛往往只抓前面一部分。分批次放，或者让入口頁有新增、有變動，更容易被反复訪問。這個數量没有通用标准，结合日誌里實际的抓取條數来調整，比照搬经驗值更可靠。
入口頁影响不了的部分
目标頁自己返回 404 或 410、被自身 robots.txt 禁止抓取、反复 503 超时、内容與站内其他頁面高度重合，這些情况下，即便蜘蛛每天從入口頁發現它，也很难進入索引。入口頁只是通道，决定不了目标頁自身的狀態。
把入口頁当成“告诉搜尋引擎這里有個地址”的工具，而不是“让頁面被收錄”的工具，预期會更贴近實际情况。
一個可用的排查顺序
- 看目标 URL 是否被目标站自己的 robots.txt 拦住
- 確認目标頁的返回碼和是否带有 noindex 之類的限制
- 翻服務器日誌，看目标 URL 有没有抓取记錄、抓取时返回了什么
- 检查入口頁是否稳定返回 200，目标連結是否可解析
- 更換入口頁或改變入口形式，观察抓取行為有没有變化
這個顺序的好處是先排除目标頁自身的問题，再回头查入口頁。如果目标頁本身就不可索引，入口頁做多少調整都没有意义。
常见誤区
- 日誌里出現搜尋蜘蛛，就認為一定會收錄——它只代表被抓過
- 被抓一次没收錄就反复提交——問题多半不在提交次數上
- 入口頁越多越好——质量差的入口只會浪費抓取资源
- 只看入口頁日誌，不看目标站日誌——两邊對照才能定位問题
把三個环节分開理解之後，入口頁该做的事就很清楚了：保證連結能被讀到、頁面能被稳定訪問、更新有节奏。剩下的部分，仍然要回到目标頁本身去解决。