網
robots.txt 屏蔽错了目錄：頁面不收錄时的規則核對顺序
robots.txt 决定蜘蛛能不能抓，抓不到就谈不上收錄。本文按規則命中、抓取測試、资源屏蔽、放行後重新發現几個环节给出排查顺序，帮你分清是屏蔽誤伤還是頁面本身的問题。
阅讀全文 →網
robots.txt 挡了抓取，頁面為什么還在索引里：把抓取屏蔽和索引屏蔽分開用
很多站点把 robots.txt 和 noindex 当成同一個開關，结果出現“屏蔽了却還在索引里”或“想移除却一直移除不掉”的情况。本文從抓取屏蔽與索引屏蔽的区別出發，說明 robots.txt、meta robots、X-Robots-Tag 各自的生效條件與冲突處理顺序，以及列表頁、參數頁、临时下线等场景该用哪一個，並附一份自查清單。
阅讀全文 →