抓取和收錄之間，隔着一道“值不值得”的判断
抓取日誌里出現某個URL，只能說明搜尋引擎知道它存在。至于這個URL最後會不會出現在索引里，還要看搜尋引擎對它的判断：這個頁面有没有必要單獨存在一份。很多站点的收錄問题，卡住的地方不在抓取频率，而在這個判断上。
什么是頁面的“獨立身份”
可以把它理解成一個問题：如果把這個URL從站点里删掉，站内其他頁面能不能完全替代它？如果不能，它通常具备獨立身份；如果能，它就更像是一個重复版本。判断收錄，很多时候就是在判断這件事。
URL层面的身份
同一個頁面最好只有一個規范地址。带參數、带跟踪碼、大小寫混用、末尾斜杠不一致，都會让搜尋引擎看到多個看起来很像的URL。這些URL如果都返回正常狀態，内容又几乎一样，頁面之間得到的信号就會被分散，谁也不够突出。
内容层面的身份
看标题、主体信息、面向的問题是否和其他頁面明顯不同。如果两個頁面只是換了几個词、調換了段落顺序，搜尋引擎更可能只選其中一個進入索引，另一個則長期停留在“已發現、未索引”的狀態。
几種常见的“身份稀释”情况
- 列表頁分頁：每一頁都是同一批内容的不同排序，但缺少獨立的篩選價值。
- 标簽頁與分類頁重叠：标簽聚合出来的结果和分類頁几乎一致。
- 參數篩選頁：颜色、排序、頁碼组合出大量URL，内容差异很小。
- 多域名或多子域承载同一套内容：常见于測試环境、镜像站、移動端獨立域名。
- 同一篇文章被複製到不同栏目下：栏目變了，正文没變。
重复内容不會直接惩罚，但會让選擇變模糊
很多站点一听重复内容就紧張。更實际的理解是：当多個頁面表達同一件事时，搜尋引擎需要從里面挑一個作為代表。它挑谁，站点往往無法完全控制。與其争论哪個版本更好，不如在站点内部就先确定一個規范版本，把連結、内部導航和後續更新都集中到它身上。
一個可执行的自检顺序
- 先看URL：確認頁面是否只有一個規范地址，站内連結是否都指向它，其他版本是否做了合理處理。
- 再看内容：把頁面和站内最相似的两三個頁面放在一起，比較标题、核心信息和它實际解决的問题。
- 然後看站内入口：這個頁面有没有被合适的上級頁面連結到，還是只能靠站点地图被發現。
- 最後看索引狀態：隔一段時間查看它是否進入索引，如果長期没進，再回到前三步找原因。
這個顺序的意义在于，先處理站点自己能控制的部分，再去看搜尋引擎给出的结果。反過来做，容易把時間花在反复提交和猜测上。
別把索引狀態当成一次性结果
頁面進入索引之後，並不代表它會一直留在那里。站点改版、内容大量調整、内部連結结构變化，都可能让某個頁面被重新判断。定期抽查重要頁面的索引狀態，比一次性批量提交更實际，也更容易看出問题出在哪個环节。
抓取是發現，索引是取舍。站点能做的，是让每個希望被索引的頁面，都有清楚的理由站在那里。
如果只能记住一句话：先別急着問“怎么让它被收錄”，先問“它凭什么被單獨收錄”。