入口頁做得再花哨，蜘蛛最终處理的還是一份 HTML。它需要從這堆标簽里判断：哪些是正文，哪些是導航、頁脚、广告和推荐位。這個判断過程通常被称為正文提取，它直接决定後面的内容是拿去索引、去重，還是被当成噪声丢掉。
正文提取大致在看什么
- 文本密度：一块区域里文字多不多，标簽占比高不高；
- 标簽權重：标题标簽、段落、列表通常被赋予更高權重；
- 位置：頁面中部的獨立内容块，比顶部和底部更容易被当作正文；
- 结构连贯性：连續多個段落组成的块，比零散短句更像正文。
不同爬虫的具体算法並不公開，也不完全一致，但大体思路接近。與其去猜算法，不如让自己的頁面结构清晰、正文集中。
常见让正文提取變难的做法
把正文拆得太散
正文被广告位、推荐位、内鏈块切成一截一截，每段只有一两句话，提取时容易被当成站点噪声處理。
導航和頁脚比正文還長
菜單、标簽云、友情連結、备案信息加起来字數超過正文，提取结果就可能以偏概全，把邊角内容当成了主体。
正文放在图片或 JS 里
文字做成图片，或者依赖前端渲染後才顯示，蜘蛛拿到的原始 HTML 里可能什么都没有，自然也無從提取。
大量無语义的 div 嵌套
整頁用 div 套 div，没有 p、h2、ul 這類结构标簽，提取时缺少可以依據的线索，判断难度會明顯上升。
怎么检查自己的頁面
- 用浏览器禁用 JS 打開頁面，看看剩下的内容是不是你想让蜘蛛看到的那部分；
- 查看源代碼，搜尋正文的第一句话，確認它确實存在于 HTML 里；
- 粗略估算正文文字量與頁面總文字量的比例，比例太低說明噪声偏多；
- 關閉 CSS 再看一遍，正文是否仍然连贯、可讀。
做起来不复杂的几個調整
- 把正文放在一個相對獨立的容器里，减少與其他模块的混杂；
- 段落用 p，小标题用 h2 或 h3，列表用 ul 或 ol，给提取提供结构信号；
- 導航、頁脚、推荐位控制字數，別让它們喧宾夺主；
- 需要蜘蛛看到的關键内容，不要只放在图片或前端渲染里。
一個简單的自测：把頁面源碼里的标簽全部去掉，如果剩下的文本前几行是菜單和备案号，那蜘蛛大概率也是這么看的。
改版时的节奏提醒
調整结构时尽量小步改。一次性把模板、容器、标簽全換掉，蜘蛛重新抓取时拿到的頁面和原来差异很大，抓取和索引的节奏可能會乱上一段時間。可以先在少量入口頁上试，观察日誌里這些頁面的抓取是否正常，再逐步铺開。
正文提取不是玄学，多數問题来自结构而不是算法。把正文寫清楚、放干净、补上必要的结构标簽，剩下的交给蜘蛛自己去判断就好。