入口頁自己没被收錄，和入口頁里的連結能不能被抓，是两條不同的鏈路。前者属于索引层，後者属于抓取层。多數情况下，只要入口頁被抓取過，里面的目标連結就會被發現並進入待抓队列，跟入口頁本身是否出現在搜尋结果里没有直接關系。
抓取和收錄不是一回事
搜尋引擎處理一個 URL，大致分三步：發現、抓取、索引。發現是從連結、sitemap、外鏈等途径知道這個地址存在；抓取是真正去請求頁面、拿到 HTML；索引是判断這個頁面值不值得放進搜尋结果。
收錄失敗，通常發生在第三步；而目标 URL 能不能被發現，取决于第二步有没有走通。所以入口頁没被收錄，並不等于蜘蛛没来過，也不等于里面的連結被忽略。
入口頁為什么常常自己没收錄
- 頁面内容高度模板化，和其他頁面几乎一样
- 頁面本身没有對應的搜尋需求，没有展示價值
- 頁面被 noindex 或 X-Robots-Tag 挡住
- 域名較新、整体信任度不足
- 入口頁只是跳轉壳，正文几乎是空的
這些原因基本只影响“要不要放進索引”，不影响“要不要来抓一次”。反過来也成立：入口頁被抓過很多次，也不代表它一定會被收錄。
什么情况下蜘蛛仍然會抓入口頁
- 日誌里已经出現過该入口頁的抓取记錄，說明地址早已被發現
- 入口頁被站内其他頁面或外部連結指向
- 入口頁本身在 sitemap 里提交過
- 站点整体抓取配額正常，服務器响應稳定
只要入口頁被請求過一次，里面的可抓連結通常會被解析出来。之後再抓不抓，就由目标 URL 自身的狀態和優先級决定。
什么情况下才是真的抓不到
先分清“没收錄”和“没抓過”。如果日誌里從来没有入口頁的訪問记錄，問题就不在收錄，而在發現环节。
- 入口頁從未被任何連結、sitemap 或外鏈暴露過
- robots.txt 禁止抓取入口頁所在的路径
- DNS、證书或服務器层面不可達，蜘蛛根本连不上
- 入口頁里的連結只在 JavaScript 渲染後才生成，且渲染未被执行
- 入口頁長期返回 5xx 或驗證頁，抓取被反复中断
怎么用日誌和後台驗證
- 在服務器日誌里找入口頁的訪問记錄，確認有没有目标搜尋引擎的 UA 請求過，返回碼是什么
- 再看目标 URL 的日誌，入口頁被抓後的那段時間里有没有對應的請求出現
- 在站長後台查看“已發現但未抓取”的 URL 列表，判断連結是否已被解析
- 對比操作前後：新增外鏈、提交 sitemap、調整内鏈结构之後，抓取频次有没有變化
實操上的几個注意点
- 不要把全部希望压在單個入口頁上，多入口、多路径更稳
- 入口頁返回碼要稳定在 200，避免频繁 302 或間歇性 5xx
- 入口頁不要堆几百個連結，關键連結尽量靠前
- 入口頁本身最好有点實际内容，纯跳轉空頁容易被判低质
- 發現抓取频次下降时，先查服務器响應速度和整站质量，而不是繼續加入口頁
结论：入口頁没被收錄，不代表里面的目标連結不會被抓。真正需要排查的是入口頁有没有被“發現”和“抓取”過。收錄是结果，抓取是過程，把過程理顺，结果才有机會出現。