网
robots.txt 屏蔽错了目录：页面不收录时的规则核对顺序
robots.txt 决定蜘蛛能不能抓，抓不到就谈不上收录。本文按规则命中、抓取测试、资源屏蔽、放行后重新发现几个环节给出排查顺序，帮你分清是屏蔽误伤还是页面本身的问题。
阅读全文 →网
robots.txt 挡了抓取，页面为什么还在索引里：把抓取屏蔽和索引屏蔽分开用
很多站点把 robots.txt 和 noindex 当成同一个开关，结果出现“屏蔽了却还在索引里”或“想移除却一直移除不掉”的情况。本文从抓取屏蔽与索引屏蔽的区别出发，说明 robots.txt、meta robots、X-Robots-Tag 各自的生效条件与冲突处理顺序，以及列表页、参数页、临时下线等场景该用哪一个，并附一份自查清单。
阅读全文 →