DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
百度中文分詞與文本粒度:搜索為何要「切詞」
編輯:SEO優化集錦     

百度搜索引擎的目標,是在滿足絕大多數用戶需求的前提下,提供最精確、最豐富的搜索結果。對搜索引擎而言,用戶停留時間越短,越說明檢索的高效與準確。不管是百度的輕應用、知心搜索,還是谷歌的語義搜索、蜂鳥算法,或360的我的搜索,本質目標都是同一個——幫人們更方便地找到所求。

而要想給用戶最需要的結果,搜索引擎必須先判斷查詢詞背後的意圖。遺憾的是,它再高效、數據庫再龐大,畢竟還不夠“聰明”,無法直接讀懂詞義。儘管谷歌已公布,可以借助更複雜的搜索請求來理解人類語言的概念,而不是一些零散的單詞,從而提供更精準的結果,也就是所謂整句搜索——但這只是邁出的第一小步。無論是建立索引還是網頁排序,搜索引擎仍然需要對文本進行切分,即中文分詞。分詞依然是最基礎、也最關鍵的一環。而在中文分詞過程中,文本粒度起到了決定性作用。

文本粒度

所謂文本粒度,對搜索引擎而言,是衡量文本所含信息量大小的一個指標:文本含的信息越多,粒度就越大,反之則越小。有人會說這很簡單——詞越長,信息量自然越大。你確定?那木木SEO給你講個小知識:肌聯蛋白是目前已知最大的蛋白質,名字足足有189819個字母,堪稱史上最長單詞。這個詞的信息量究竟有多大?閒話不多說,先看下面幾組詞,判斷哪些粒度大、哪些粒度小。

蘿卜、葡萄、乒乓

龍井、籃球、紅色、橡皮擦

踢球、拔河、談戀愛、登山

高清電視機、南非雙人游、呼叫中心系統

第一組都由兩個字組成,但各自只表達一個意思,這類詞粒度小。第二組同樣多為兩字、也只有一個含義,但它們可以再拆——籃與球、橡皮與擦、踢與球——粒度就稍大一些。而後面幾組,粒度顯然更大。

註:更多網站建設技巧,歡迎移步建站教程頻道閱讀。

再看下面一組:

勒布朗·詹姆斯、變形金剛4、北京百度網訊科技有限公司、中華人民共和國

這類詞雖然很長,但都是專名詞,只表達一個意思,粒度並不大。不過機構名、人名屬於有內部結構的專名,粒度會比電影電視劇名稍大一些。

搜索引擎原理與分詞粒度

搜索引擎最簡單的實現方式,就是返回包含關鍵字的頁面來滿足檢索需求。搜索時,用戶既可以輸入關鍵字,也可以輸入一定範圍內的文本——這時就必須先做中文分詞拿到關鍵詞,再對結果建立倒排索引,取得關鍵詞對應的頁面。如果不切分,任何數據庫都不可能存儲世上的所有詞;如果隨便切分,又會檢索出大量無關頁面,顯然滿足不了需求。

所以我們必須對文本做“合適”的切分。百度目前已有幾種中文分詞方法,而粒度是分詞中至關重要的變量——這也正是筆者前面花篇幅解釋文本粒度的原因。

用戶體驗與粒度

搜索引擎需要切分文本,那麼究竟該按什麼樣的粒度切,才能讓用戶對結果滿意?看下面幾組:

1. 搜索:呼叫中心 SERP:呼叫中心系統、呼叫中心軟件

2. 搜索:娃哈哈 SERP1:哈哈,去哪玩? SERP2:娃哈哈果奶

3. 搜索:土豆絲 SERP:土豆肉絲

4. 搜索:公交車 / 車站 SERP:公交車站

要求:搜索關鍵詞後能得出合適的結果。

1. 要讓SERP能找到呼叫中心系統和呼叫中心軟件,就必須從這兩個詞裡都切出“呼叫中心”;

2. 必須把“娃哈哈”切為一個整體詞,否則會出現SERP1那樣不相關的結果;

3. 不能把“土豆絲”切成一個整體詞,否則就不會出現“土豆肉絲”這個結果;

4. 必須同時切出“公交車”和“車站”這兩個重疊詞,才能保證兩詞搜索都能命中“公交車站”。

以上基本概括了搜索引擎對切分粒度的要求:既影響展現,也影響相關性。

搜索引擎展現與粒度

很直觀:粒度越小,展現越多;建立倒排索引時,索引長度就越長;粒度的層次越多,索引數量就越多。一個“多”、一個“長”,都會對檢索系統的性能構成極大考驗。所以搜索引擎並不會給所有小粒度詞都建索引,而是挑選那些“更有可能展現相關結果”的小粒度詞。

總體規律是:一般情況下,切分粒度越大,索引越多、相關性越好,但展現越少;切分粒度越小,索引越少、相關性越差,但展現越好。

那搜索引擎如何折中?基本原則是在系統性能可承受的前提下,盡量多展現有效結果,並在計算相關性時把最相關的排在最前。而要恰當控制切分粒度,就必須談到緊密度與重要性。

緊密度描述的是文本所含信息的緊密程度,本質上是信息被人們表達與接受的穩定程度。“穩定”有兩種理解:相對於臨時性而言,以及相對於順序不固定而言。比如“吃火鍋”屬於臨時組合,不穩定,也就是不緊密。我們可以依據詞彙的緊密程度,作為減小粒度的判斷依據之一——詞彙越不緊密,我們就越有理由把它拆成更小的單位。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved