頁面迟迟不被抓取，先看它有没有路可走
搜尋引擎發現一個 URL，通常有几條路：外鏈、sitemap、提交入口、站内連結。前三條要么依赖別人，要么只是“报個到”；只有站内連結是你能持續控制、也能反复調整的一條。一個頁面如果没有任何站内連結指向它，只出現在 sitemap 里，那它可以被發現，但抓取排序通常比較靠後，尤其当站点本身 URL 數量很大时。
所以当一批新頁面里有的很快被抓、有的迟迟不動，先別急着怀疑内容，按顺序看一眼：它們各自有多少條内鏈、這些連結出現在什么位置、從首頁算起要点几次才能到達。
連結位置不同，抓取意义不一样
- 主導航、频道入口：位置稳定，几乎每轮抓取都會被经過，适合放長期重要的栏目頁。
- 列表頁、聚合頁：更新频繁，新内容出現在前几屏时更容易被碰到，這是新頁面被發現最稳定的一條路。
- 正文内的上下文連結：相關性清楚，但前提是文章里真的有值得引用的地方，硬塞反而顯得多余。
- 頁脚、侧栏：全站重复出現，邊际作用有限，可以用于重要入口的兜底，但不要指望靠它把新頁面推出去。
- 只在 sitemap 里出現：能進队列，但缺少站内入口时，優先級通常偏低。
換句话说，連結數量不是關键，連結出現的位置和稳定性才是。一個出現在列表頁首屏的連結，通常比十個頁脚連結更有意义。
点击深度：從首頁走几步能到
常见做法是让重要頁面尽量在三次点击内可達。這里真正要检查的是改版之後的變化：原来的栏目入口被撤掉、舊的列表頁做了折叠、内容被移到了二級甚至三級目錄下，頁面本身没變，但從首頁到它的路径變長了，被抓到的频率自然下降。
检查方法很朴素：打開首頁，只用站内連結，手動走到目标頁面，把步數记下来。抽样几個目錄各走一遍，比看任何匯總數字都直观。
孤儿頁面和“看起来有連結”的頁面
有几類情况會让頁面實际處于孤立狀態，但表面上又好像有連結：
- 連結由 JavaScript 在执行後才插入 DOM，如果頁面本身没有被完整渲染抓取，這條連結可能根本不存在。
- 連結藏在“展開更多”、下拉菜單、選項卡或需要点击才加载的模块里。
- 指向该頁的連結全部带上了 nofollow，或者連結所在頁面本身是 noindex。
- 頁面只存在于 sitemap 或後台列表里，前台没有任何入口。
這几類的共同点是：人工浏览时看得见，机器抓取时拿不到。排查时用抓取工具看原始 HTML，比用浏览器看渲染结果更接近真實情况。
锚文本與上下文不用堆砌
锚文本的作用是說明目标頁讲什么，让連結双方的主题關系清楚。同一個目标頁，最好有几種自然的说法，而不是全站统一用“点击這里”。没必要為了關鍵詞反复重复同一個短语，那样既讀起来別扭，也不见得带来額外好處。
上下文同样重要：一段正文里顺带提到並鏈過去，和一個列表里孤零零的連結，意义並不相同。
分頁和列表頁別把路堵上
很多站点的分頁靠“加载更多”按钮或無限滚動實現，视觉上流畅，但連結不再是可抓取的 a 元素，新内容就少了一條主要入口。比較稳妥的做法是保留一條普通的分頁連結路径，哪怕视觉上只作為兜底，也不要让新頁面只能靠接口返回。
一套可以小范围执行的检查顺序
- 挑一组最近上线但還没被抓取的 URL，控制在十几條以内。
- 從首頁出發，手動走出到每條 URL 的最短路径，记錄点击深度和经過的頁面。
- 在原始 HTML 里確認這些連結确實存在，而不是靠脚本渲染出来。
- 检查連結是否被 nofollow，所在頁面是否被 noindex 或 robots 屏蔽。
- 和 sitemap 里的寫法對照，確認 URL 完全一致，没有大小寫、结尾斜杠之類的差异。
- 在相關度高的頁面上补一到两條自然内鏈，然後观察一段時間的抓取记錄。
内鏈調整是長期工程，改動之後不會立刻看到结果，观察窗口按周計算更合理。它的作用是让頁面更容易被發現，並不能替代内容本身的质量判断。
内鏈解决的是“被發現”，不是全部
补内鏈之後，頁面進入抓取队列的概率會提高，但是否進入索引，還要看内容是否完整、是否與其他頁面高度重复、返回的狀態碼是否正常。把這两件事分開看，排查起来會清楚很多：先確認机器有没有走到這個頁面，再谈這個頁面值不值得留下。