網
頁面分层與收錄優先級：哪些地址值得進索引，哪些只要被爬到
站内 URL 變多以後，收錄量却不涨，很多时候是因為没有区分地址類型。這篇文章把站内地址分成需要進索引、只需被爬到、邊界模糊三類，並說明 noindex、robots.txt 與 canonical 各解决什么問题，最後给出一套可以定期执行的检查流程。
阅讀全文 →網
被 robots.txt 挡住的 URL，為什么還能在索引里看到
robots.txt 管的是抓取，不是收錄。本文說明被 Disallow 的地址為何仍可能出現在索引里、只留 URL 的空條目是怎么形成的，以及 disallow 與 noindex 同时使用时會出什么問题，並给出让頁面真正登出索引的處理顺序。
阅讀全文 →