站
站点运营：搜尋蜘蛛的URL發現，從预览連結與定时發布的入口谈起
预览連結和定时發布都發生在内容正式登场之前，這個阶段的URL狀態如果没管好，容易产生重复副本、空壳頁和孤儿頁。本文梳理预览頁的noindex處理、發布前後的狀態切換、入列動作以及如何用日誌驗證，帮助站点把URL發現這件事做在流程里。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從内鏈锚文本與面包屑導航说起
搜尋蜘蛛發現新URL，主要靠頁面之間的連結。内鏈锚文本和面包屑這两块常被当成装饰，實际决定了爬虫能不能顺着路径走到深层頁面。本文從連結入口、锚文本寫法、面包屑层級表達和维護检查清單几個方面，梳理一套可执行的日常检查方法。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從JavaScript渲染與首屏連結谈起
前端框架渲染後，頁面在浏览器里能点，但搜尋蜘蛛拿到的HTML里可能没有任何連結。本文梳理單頁路由、用点击事件代替a标簽、滚動懒加载等常见失效寫法，给出查看源碼、禁用JS、日誌對比等排查方法，以及首屏服務端輸出連結、Sitemap补充等折中方案。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從登入墙與Cookie彈窗谈起
Cookie 同意彈窗、首訪引導层與登入墙，常被当作体驗優化，却可能把連結挡在 HTML 之外。本文從抓取與渲染的先後顺序讲起，梳理三種常见彈窗實現的風險、登入墙该留的分寸，並给出一份可落地的自查清單，帮助运营把關键連結留在主文档里。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從RSS與Atom订阅源的维護谈起
RSS與Atom订阅源能帮助搜尋蜘蛛發現新内容，但它不是站点地图的替代。本文從輸出條數、連結寫法、更新時間戳、频道拆分和日誌观察几個方面，說明如何把订阅源做成稳定的增量URL發現补充，同时避免重复抓取和内容重复。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從重定向鏈的跳數與收敛谈起
重定向鏈的每一跳都在消耗抓取预算，也容易在中間环节丢失线索。本文從跳數控制、鏈路收敛、内鏈與站点地图寫法、死鏈處理以及日誌排查方法几個角度，說明如何把重定向整理成一份可维護的清單，让搜尋蜘蛛更快到達真正的内容頁面。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從孤儿頁面的排查與治理谈起
孤儿頁面指站内没有任何連結指向、只能靠站点地图或外鏈被發現的URL。它們不會立刻出問题，却會在栏目調整、活動下线、内容下架後被慢慢制造出来。本文梳理孤儿頁面的常见成因、日誌與内鏈排查思路，以及补入口、合並、301、noindex等分档治理方式，並给出可以寫進日常流程的入口检查习惯。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從内鏈深度的分层控制谈起
很多站点把URL發現寄托在蜘蛛池，但真正影响搜尋蜘蛛發現效率的是站内連結深度。本文從内鏈分层控制出發，讲清首頁、栏目、内容頁的連結层級如何規划，如何為深层頁面留入口，以及常见的深度失控問题，帮助站点运营者把URL發現拉回结构本身。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從站内搜尋與篩選结果的索引污染谈起
站内搜尋與篩選组合會产生近乎無穷的URL，稀释搜尋蜘蛛對内容頁的抓取机會。本文梳理這類頁面失控的常见成因，给出robots.txt、noindex、canonical與參數收敛的取舍思路，並附一份可执行的排查清單。
阅讀全文 →站
站点运营：搜尋蜘蛛的URL發現，從canonical标簽的指向一致性谈起
蜘蛛發現 URL 之後還要判断哪一條才是代表版本，canonical 标簽就是這一步的声明。本文梳理 canonical 在 URL 發現鏈條中的位置、指向不一致的常见来源，並给出一份可定期执行的自查清單，帮运营把内鏈、站点地图與規范声明對齐。
阅讀全文 →