主流搜索引擎按功能大致可以分為抓取、分析、索引、查詢四大系統。其中分析系統承擔四項基礎任務:網頁結構化、網頁消重、文本分詞、網頁重要性計算(谷歌的 PR 屬於這一類)。可以說,排名結果在很大程度上是在這一層被決定的。理解它的工作方式,比記住一堆技巧更有用。
簡化來看,流程是這樣的:讀取抓取系統存下的原始網頁;建立標籤樹、抽取有價值的屬性,把原始文檔打包成結構化的網頁對象;丟棄重複或高度相似的頁面,只留一份進入後續環節;把正文切分成以詞為單位的集合;最後把結果送往索引模塊入庫。
網頁是用 HTML 寫成的半結構化對象,分析系統要做的第一件事就是判斷什麼值得保留、什麼可以丟棄。一般來說,title、meta、H 標籤被賦予較高權重。以 title 為例,它往往是蜘蛛最先讀到的文字內容,寫得含糊,後面的判斷就失去了依據。
除此之外,正文結構、錨文本都是有價值的信息。用語義化的標籤把內容組織清楚,是在幫搜索引擎理解你,也是在幫用戶掃讀。
網絡上的頁面以億計,存儲和處理海量數據本身就是巨大負擔,而其中又有大量重複或近似內容。所以分析系統在正式處理之前,必須先做消重。
被視為相同或相似的情況大致有四類:內容與格式完全相同;內容相同但格式不同;部分重要內容相同且格式相同;部分重要內容相同但格式不同。這四條判斷標準說明一件事——內容的獨特性直接決定你的頁面能不能被單獨保留下來。原創不是道德要求,是技術要求。
網頁重要性計算決定鏈接與權重如何流動。以 PR 為例,它標識的是頁面的等級;百度也有類似機制。對應的做法並不神秘:爭取高質量站點的導入鏈接、寫有價值的內容並發佈到權威平台、提供真正能解決問題的頁面。這些事情的共同點是——它們都需要時間,而時間本身就是壁壘。
把分析系統的四個環節對照一遍,優化要點其實非常清楚:語義化的結構、獨特的內容、清晰的關鍵詞切分、扎實的權重積累。技巧會過時,機制不會。