做入口頁的时候，很多人會习惯性把能放的目标連結全塞進同一個頁面，理由很直接：一個頁面能放下几十條連結，那搜尋蜘蛛来一次就能顺带發現几十個目标 URL。但真正跑一段時間後會發現，抓取量並没有随連結數量一起涨，有些入口頁放了很多連結，日誌里實际被跟進的却只有前面一部分。
搜尋蜘蛛跟進連結不是按條數结算
搜尋蜘蛛抓到一個頁面後，确實會解析頁面上的連結，但接下来去抓哪些、抓多少，取决于它给這個站点分配的抓取预算，以及它對頁面上各條連結優先級的判断。連結多，只意味着候選池變大，並不意味着每個候選都會立刻被訪問。
對于平时抓取量本来就不高的站点，一個頁面塞太多連結，结果往往是單條連結被訪問的机會被摊薄。入口頁的連結數量影响的是抓取机會如何分配，而不是决定抓取總量。
哪些因素會让搜尋蜘蛛更愿意跟一條連結
- 連結放在正文主内容区，周围有相關文字說明，比堆在頁脚、侧栏的一長串裸連結更容易被当作有效導航。
- 锚文本能描述目标内容，而不是“点击這里”“更多”這類没有信息量的文字。
- 同一個目标 URL 在頁面里只出現一次。重复出現不會增加權重，反而让頁面顯得冗余。
- 入口頁本身能被正常抓取、加载稳定，搜尋蜘蛛不需要反复回来重试。
- 連結指向的 URL 可訪問、返回正常狀態碼。频繁抓取失敗會降低後續對這個頁面連結的信任度。
連結數量的影响，更多体現在分配上
並没有一個“每個頁面最多跟進 N 條連結”的硬性規則，網上流传的“超過 100 條就不抓了”其實是對早期经驗的誤传。更接近實际情况的是：頁面連結越多，單條連結分到的抓取机會越少；当頁面整体质量一般时，排在後面的連結可能長期得不到訪問。所以問题不是“能不能放”，而是“放了之後希望哪几條先被看到”。
分层比堆量更實用
- 入口頁只放優先級最高的少量目标 URL，比如 5 到 15 條，配上简短說明。
- 需要覆盖更多目标时，另做二級入口頁，用第一层入口連結過去，让抓取一层层展開。
- 同一批目标 URL 可以分散到多個入口頁，避免所有連結挤在一個頁面上。
- 重要的目标 URL 放在更靠前、更接近正文的位置。
怎么判断連結有没有被跟進
最直接的办法是看站点日誌，用搜尋蜘蛛的 UA 和 IP 段去筛，看目标 URL 是否出現過抓取记錄。如果入口頁被訪問了，但目标 URL 一直没有任何记錄，可以先检查連結是不是真的可以点击、是不是被脚本或样式藏住了，也可以確認頁面是否用了 nofollow 之類的設定。同时留意目标 URL 返回的狀態碼，持續返回错誤會让搜尋蜘蛛减少回訪。
連結數量只影响候選池的大小，真正决定抓取的是頁面本身的质量、連結的位置和站点整体的抓取预算。
別把連結數量当成唯一變量
入口頁的作用，是给目标 URL 提供一條能被發現的路径，它不是刷抓取的工具。與其在一個頁面上反复加連結，不如先把入口頁本身做得能被正常抓取、内容能讀、结构清晰，再把目标 URL 按重要程度分层放置。另外要分清，連結被跟進和目标 URL 被收錄是两件事，連結被訪問之後能不能進入索引，還要看目标頁面自己的内容。