很多人把收錄問题归因到内容质量和提交動作上,但蜘蛛第一次進入站点、第一次走到某個目錄,几乎全是沿着連結走出来的。内鏈结构一旦乱掉,再好的頁面也可能長期排在抓取队列的末尾,甚至始终没被訪問過。
点击深度:從首頁出發要走几步
常见的站点结构是首頁、栏目頁、列表頁、詳情頁,一個内容頁在三到四次点击内被走到,是比較舒服的距离。超過這個深度,通常意味着它只出現在分頁靠後的位置、篩選结果里,或者需要用戶操作才會渲染出来。
可以按這几個特征排查:
- 從首頁到该頁面的最短路径超過四次点击;
- 頁面只在搜尋框輸入關鍵詞後才能出現;
- 只在站内篩選、排序结果中可见;
- 只寫在 sitemap 里,正文中没有任何連結指向它。
重要的栏目頁和专题頁,尽量在首頁或全局導航留一個固定入口,让它們的深度稳定在两层以内。
锚文本:让連結自己說明目标頁在讲什么
锚文本是给蜘蛛的上下文,也是给用戶的预期。大量使用“点击這里”“了解更多”“詳情”這類词,等于把連結的說明信息全部丢掉。更實用的做法是让锚文本包含目标頁面的核心词,同时保持句子通顺。
不需要為一個词反复換同义表達去“做自然”,也不要把锚文本堆成關鍵詞列表。围绕頁面主题的一两個核心词、偶尔的自然變化,已经足够。
孤儿頁面:没有入口的頁面等于不存在
孤儿頁面通常来自几種情况:下架栏目後残留的詳情頁、活動結束但没處理的专题頁、後台批量生成却没有挂到任何列表的頁面、只靠外部連結或QR Code分享的頁面。
sitemap 是 URL 發現入口的补充,不能替代站内連結。一個頁面在 sitemap 里躺了半年,但站内没有任何入口,蜘蛛對它的抓取频率會明顯偏低。
處理方式有两種:值得留的,從相關的已收錄頁面补一到两條内鏈;不值得留的,用 noindex 或直接下架,避免它一直占用抓取资源。
連結墙為什么反而拖慢抓取
導航和頁脚堆几百個連結,看起来给了每個頁面入口,實际效果往往相反。抓取预算被大量低價值連結摊薄,真正需要更新的頁面反而要等更久。相關推荐、热门标簽這類模块,控制在與目前頁面主题相關的范围内,數量比齐全更重要。
上线前後可以照着做的几件事
- 新頁面發布时,至少從一個已经被收錄的頁面加一條連結指向它,而不是只等它被自然發現。
- 检查栏目頁是否在首頁有固定入口,避免重要目錄藏在二級導航的下拉里。
- 翻一下抓取統計,看看哪些目錄長期没有蜘蛛訪問记錄,那里往往就是鏈路断掉的地方。
- 對孤立頁面逐一判断:补内鏈,或者明确排除在索引之外。
- 列表頁的分頁保持可点击的連結,不要只依赖無限滚動和按钮加载。
内鏈解决的是“能不能被找到、多久被找到”,它不能替代頁面本身的质量判断。抓取到了、走到面前了,收錄與否仍然要回到内容是否值得留下這個問题上。两件事分開看,排查思路會清楚很多。