首先提前祝各位同仁新年快樂。在2011年的最後一天,想和大家分享一個話題:搜索引擎的預處理機制。一些SEO新手對這個詞可能有點陌生,其實並不難理解——網站成千上萬,頁面達到億級別,而搜索引擎卻能通過一個簡短的詞,把結果飛快地呈到用戶面前。為什麼這麼快?難道真是它的服務器特別強大嗎?其實它採用了一種巧妙的辦法:背後有預處理機制在支撐,通過預處理,才能迅速把用戶想找的內容呈現出來。那預處理包括哪些內容?我們簡單說說。
預處理要做的第一件事就是提取文字,這一步非常關鍵。文字之間通常存在相關性,需要把關鍵文字提取出來。可提取的內容包括文本、meta標籤,這兩個從表面就能看見;還有關鍵詞和描述(需查看頁面源代碼),以及alt屬性(鼠標移上去才顯示)。此外還有文本,比如做過flash站優化的人知道,可以把它們的內容提取出來作為替代內容,這些都是能被搜索引擎識別的。
抓取文字之後要進行中文分詞,也就是常說的中文分詞技術。為方便理解,我們舉個例子:分別在百度和谷歌裡搜索"誇張大千獎"。先看百度的結果:

可以看到頁面上標紅的字體,"張大千"這三個字被單獨抽了出來。本來是五個字,因為張大千是人名,所以優先被切出,整個詞就變成了"誇""張大千""獎"三個詞組,這是百度的分詞手法。再看谷歌:

第一條結果是"誇張的圖,大千世界無奇不有啊"。為什麼會這樣?因為谷歌相比百度少了一個專有詞典,匹配方式不同。不同搜索引擎的分詞規律各異,所以針對不同引擎做關鍵詞優化時,要留意關鍵詞該怎麼寫才穩妥——做谷歌怎麼寫、做百度怎麼寫,都要心中有數。我們要學會利用分詞技術,讓關鍵詞與內容盡量匹配;如果連內容都匹配不上,關鍵詞又怎能上去?
關於匹配方法,簡單概括如下:
A. 正向匹配:一般閱讀方式是從左往右,所以叫正向匹配。比如"中華人民共和國成立於1949年",正向匹配可能切成"中華""人民""共和"等。
B. 逆向匹配:顧名思義,從後往前匹配。
C. 最大匹配:如"中華人民共和國成立於1949年",最大匹配會把"中華人民共和國"作為一個詞組。
D. 最小匹配:則可能切成"中華""人民""共和""國"。
這樣共四種匹配方式:正向匹配、逆向匹配、最大匹配、最小匹配,可兩兩結合為"正向最大匹配""正向最小匹配""逆向最大匹配""逆向最小匹配",這是百度和谷歌通用的方法。那怎麼知道它給你用的是哪種匹配?其實沒有定死的規律,只需記住一點:一個好的搜索引擎,分詞系統關鍵看兩點——
A. 消除歧義能力:搜一個詞,出來的結果更精准、完整;
B. 能否識別人名、地名、機構名等未登錄詞,比如流行的口頭語,搜索次數多了它會統計,若統計結果與用戶需求匹配度高,就是好的分詞系統。
搜索引擎的分詞能讓我們的標題與內容相關性更高、與目標詞匹配度更高,這正是分詞的價值所在。不同引擎分詞原理不同,需要系統學習,僅靠這篇文章是講不完的,關鍵是要有這個思路,並結合它仔細觀察、得出結論。
通過以上講解,大家是不是對搜索引擎預處理機制和中文分詞有了初步了解了呢?今天就聊到這裡,再次祝大家新年快樂!