不少人在日誌里看到搜尋蜘蛛訪問了蜘蛛池入口頁，就預設目标URL很快會被收錄。實际跑一段時間後，目标URL可能一直没出現在索引里。這时需要先区分一件事：搜尋蜘蛛抓取入口頁，和它是否跟進連結、是否把目标URL放入索引，是三件不同的事。
抓取入口頁不等于索引目标URL
搜尋蜘蛛抓取入口頁，只說明它發現了這個頁面。至于它會不會顺着頁面里的連結繼續訪問目标URL，以及目标URL最终是否被索引，還要看連結位置、連結數量、目标URL自身狀態、站点整体抓取预算等因素。蜘蛛池入口頁能提供一條發現路径，但不决定收錄结果。
目标URL没有進索引的常见原因
1. 目标URL本身不可訪問或狀態碼異常
如果目标URL返回404、410、5xx，或者频繁超时，搜尋蜘蛛即使從入口頁發現了它，也不會繼續把它当作有效頁面處理。有些站点會返回302跳轉到其他地址，或者用JS跳轉，這些都會增加搜尋蜘蛛判断的难度。
2. robots 或 meta robots 限制了抓取和索引
目标URL自身的 robots.txt 如果屏蔽了搜尋蜘蛛，或者頁面里寫了 noindex，那么即使搜尋蜘蛛抓取了入口頁，也不會索引目标URL。另外，入口頁如果對連結加了 nofollow，搜尋蜘蛛跟進目标URL的意愿會降低，但這不是绝對不跟進，需要结合日誌判断。
3. 目标URL内容质量或重复度過高
搜尋蜘蛛抓取頁面後，會判断内容是否值得索引。如果目标URL内容很薄、大量采集、和站内其他頁面高度重复，或者只是列表頁、标簽頁，索引概率會明顯下降。這種情况下，問题不在蜘蛛池入口頁，而在目标URL本身。
4. 入口頁連結數量多、位置靠後
入口頁如果铺了几百上千個連結，搜尋蜘蛛不一定全部跟進。連結越多，單個連結获得的關注度越低。放在頁面底部、折叠区域或大量導航中的連結，被跟進的概率也會下降。可以對比日誌，看搜尋蜘蛛實际抓取了哪些連結。
5. canonical 或參數導致URL被合並
目标URL如果带有跟踪參數，或者頁面里的 canonical 指向了另一個地址，搜尋蜘蛛可能把權重和索引信号集中到 canonical 指向的URL上。结果是目标URL被抓取了，但索引里出現的是另一個版本。
6. 抓取预算被入口頁占用
蜘蛛池入口頁如果數量很多，而且内容质量低，搜尋蜘蛛可能把大量抓取額度花在入口頁上，留给目标URL的抓取次數反而有限。尤其在站点規模較大时，抓取预算的分配會更明顯。
怎么核對和調整
遇到“入口頁被抓、目标URL没索引”的情况，可以按下面顺序排查：
- 在服務器日誌里篩選搜尋蜘蛛，確認它是否訪問過目标URL。如果没訪問過，重点看入口頁連結是否被跟進。
- 检查目标URL的HTTP狀態碼，确保返回200，並且没有跳轉鏈。
- 检查目标URL的 robots.txt、meta robots、canonical 設定，排除主動屏蔽或错誤指向。
- 评估目标URL的内容质量，看是否與站内其他頁面重复，是否有獨立價值。
- 适当减少單個入口頁的連結數量，把重要目标URL放在更靠前、更顯眼的位置。
- 观察一段時間内的抓取日誌，不要只看一两次訪問就下结论。
蜘蛛池入口頁的作用是增加URL被搜尋蜘蛛發現的路径，而不是保證收錄。發現之後是否抓取、是否索引，仍然取决于目标URL本身和站点整体情况。
小结
搜尋蜘蛛抓取蜘蛛池入口頁，只是URL發現环节的一部分。目标URL没進索引时，優先排查目标URL的狀態碼、robots設定、内容质量和canonical，再回头看入口頁的連結布局和抓取预算。把抓取和索引分開看，排查會更有方向。