蜘蛛是怎么顺着分頁往下走的
大多數站点的分頁連結都寫在列表頁的 HTML 里，比如「下一頁」「2」「3」。蜘蛛從列表第一頁進来後，會把這些連結当成普通内鏈處理，逐頁跟進。也就是说，分頁是站内最稳定的一條 URL 發現路径，比被動等 sitemap 被讀取要直接得多。
但這條路径能不能走通，取决于分頁連結是不是真的寫在 HTML 里。現在很多列表頁把「下一頁」做成按钮，点击後由 JS 請求資料再渲染，HTML 里既没有 href，也没有可跟随的地址。蜘蛛看到的就是一個死胡同——第一頁之後的 URL 它根本發現不了。
翻得越深，頁面本身越不值钱
分頁翻到第 5 頁、第 10 頁以後，列表上展示的條目和第 1 頁高度重合，頁面獨有的内容越来越少。這類地址即使被抓到，也很容易停在「已發現但未编入索引」的狀態，或者收錄後長期没有展現。原因不难理解：一個頁面如果只是把同样的内容換個顺序再列一遍，搜尋引擎没有理由把它当成獨立结果呈現。
所以判断标准可以简單一点：這一頁上有没有用戶會主動搜尋、且站内別處看不到的信息。如果没有，它更适合作為抓取通道，而不是索引目标。
几種常见的分頁寫法問题
- 只有「下一頁」，没有頁碼跳轉。蜘蛛只能一頁頁往前走，抓取资源被大量消耗在低價值頁面上，深层的優质條目反而排不上。
- 每頁數量可變。?per_page=20 和 ?per_page=50 生成的是两套地址，内容几乎一样，等于人為制造重复頁面。
- 第一頁有两個地址。/list/ 和 /list/page/1 内容相同，需要明确保留一個，另一個做跳轉或規范化。
- 分頁和排序、篩選參數混在一起。同一批内容能组合出成百上千個 URL，抓取會被摊薄。
- 指望 rel="prev"/"next" 解决重复。主流搜尋引擎早已不再把它当作索引信号，它顶多算個提示，不要指望它来合並頁面。
深分頁该不该進索引
比較稳妥的做法是分開看：前几頁通常有獨立的浏览價值，可以正常放開；往後翻的頁面，如果只是同一批條目的重复排列，可以考虑不让它進索引，但保留連結，让蜘蛛繼續跟進更深层的内容。這里要注意，加了 noindex 的頁面短期内仍然會被抓取，連結也會被跟随，只是搜尋引擎對這類頁面的回訪意愿會慢慢降低，別把整條路径都堵死。
另一個思路是從根上减少對深分頁的依赖：给内容补上按時間、按分類、按主题的归档入口，让同一批條目有多條更容易被發現的路径，而不是全部挤在「下一頁」這一個按钮上。
有獨立價值的頁，尽量別只靠分頁被發現
如果一個頁面确實值得被收錄，却只被埋在列表第 8 頁，等于把被發現的机會交给运气。可以做的事包括：在相關文章、正文推荐位、栏目頁里给出指向它的内鏈；把它寫進 sitemap；用明确的锚文本說明它讲什么，而不是统一寫成「查看更多」。
怎么检查現状
- 抓一次列表頁的 HTML，確認「下一頁」是 a 标簽且有可訪問的 href。
- 看站内被索引的地址里，分頁 URL 占多大比例。占比很高，通常說明可索引的獨有内容供给不足。
- 看服務器日誌里分頁 URL 的抓取深度和频次，判断蜘蛛大致停在第几頁。
- 抽查深分頁地址的收錄狀態，看它們是不是長期停在「已發現但未编入索引」。
分頁解决的是「怎么让蜘蛛繼續往下走」，解决不了「這一頁值不值得進索引」。两件事分開處理，站点會清爽很多。