站
站点运营：搜尋蜘蛛的URL發現，從URL里的中文與特殊字符编碼说起
中文标题、中文文件名生成的 URL 往往带着一長串百分号编碼，同一篇文章可能因此出現多個地址。本文梳理编碼不一致常出問题的几個位置，给出统一 slug、處理空格與保留字符、舊連結 301 的實操思路，並附一份日誌自查清單。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從單頁應用的前端路由说起
單頁應用的頁面切換靠前端路由完成，用戶觉得顺滑，但蜘蛛看到的可能只有一張 HTML。本文讨论 hash 與 history 模式的区別、首屏源碼里该如何保留真實連結，以及服務端渲染、预渲染和站点地图兜底的取舍。
阅讀全文 →站
站点运营：robots.txt 與 noindex 的分工，別把抓取和索引寫反
很多站点把 robots.txt 和 noindex 当成同一件事，结果该消失的頁面還在，该被抓的内容却抓不到。本文梳理两者的分工、常见的寫反场景、移除 URL 的正确顺序，以及 robots.txt 的语法细节與驗證方法，帮助你把抓取管理做在可控范围内。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從XML站点地图的分片與lastmod标注说起
XML站点地图常被当成一次性提交任務，其實它是長期的URL清單。本文聊分片的判断信号、lastmod的寫法、哪些URL不该進地图，以及和维護流程的配合方式。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從评论区與用戶生成内容的連結说起
评论、论坛、問答等用戶生成内容往往带来大量站内連結，既可能帮蜘蛛發現新 URL，也可能制造重复、低质和參數陷阱。本文從审核、分頁、動態加载、用戶主頁與連結属性几個方面，整理 UGC 场景下的 URL 發現與站点运营思路。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從目錄层級與站点深度谈起
内容量上来後，常有頁面迟迟没有抓取记錄，問题往往出在 URL 的目錄层級與站点深度上。本文梳理常见的层級問题、压浅深度的具体做法，以及如何用日誌和爬虫工具自查，帮助蜘蛛更低成本地發現重要頁面。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從URL大小寫與末尾斜杠的規范化谈起
站内連結寫法不一致时，同一個頁面可能以大小寫不同、尾斜杠有無不同的多種形態被爬虫记錄。本文從尾斜杠規則、大小寫来源、301 收敛、内鏈與 Sitemap 對齐几個角度，讲清如何减少重复 URL，让抓取更集中。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從图片懒加载與响應式图片说起
图片是很多站点容易忽略的URL入口。本文拆解原生懒加载與JS懒加载的区別、srcset與picture的取舍、背景图與延迟iframe带来的影响，並给出一份可执行的自查清單，帮助你在不牺牲加载性能的前提下，让頁面里的地址更容易被發現。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從预览連結與定时發布的入口谈起
预览連結和定时發布都發生在内容正式登场之前，這個阶段的URL狀態如果没管好，容易产生重复副本、空壳頁和孤儿頁。本文梳理预览頁的noindex處理、發布前後的狀態切換、入列動作以及如何用日誌驗證，帮助站点把URL發現這件事做在流程里。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從内鏈锚文本與面包屑導航说起
搜尋蜘蛛發現新URL，主要靠頁面之間的連結。内鏈锚文本和面包屑這两块常被当成装饰，實际决定了爬虫能不能顺着路径走到深层頁面。本文從連結入口、锚文本寫法、面包屑层級表達和维護检查清單几個方面，梳理一套可执行的日常检查方法。
阅讀全文 →