DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
互聯網時代的社會語言學:用統計方法從SNS文本中挖掘新詞
編輯:SEO優化集錦     

作為中文系應用語言學專業的學生,同時也是一名數學Geek,我格外熱衷於用計算的方法去分析漢語資料。漢語是一種獨特而神奇的語言。在對漢語資料做自然語言處理時,我們常常會遇到其他語言沒有的困難,比如分詞——漢語的詞與詞之間沒有空格,計算機怎麼知道“已結婚的和尚未結婚的青年都要實行計劃生育”究竟該切成“已/結婚/的/和/尚未/結婚/的/青年”,還是“已/結婚/的/和尚/未/結婚/的/青年”呢?這就是所謂的分詞歧義難題。好在如今很多語言模型已能比較漂亮地解決它。但在中文分詞領域,還有一樣東西比分詞歧義更令人頭疼——未登錄詞。中文沒有首字母大寫,專名號也早已取消,這叫計算機如何辨認人名、地名之類的東西?更棘手的是機構名、品牌名、專業名詞、縮略語、網絡新詞等等,它們的產生機制似乎毫無規律可循。最近十年,中文分詞領域都在集中攻克這一難關,而自動發現新詞,正是其中關鍵的一環。

挖掘新詞的傳統方法,是先對文本分詞,再把未能成功匹配的剩余片段猜測為新詞。這似乎陷入了一個怪圈:分詞的準確性本身就依賴詞庫的完整,如果詞庫裡根本沒有新詞,我們又怎能信任分詞結果呢?此時,一種大膽的想法誕生了——首先不依賴任何已有詞庫,僅僅根據詞的共同特徵,把一段大規模語料中可能成詞的文本片段全部提取出來,無論它是新詞還是舊詞;然後,再把抽出來的詞與已有詞庫比對,不就能找出新詞了嗎?有了抽詞算法之後,我們還能以“詞”為單位做更多有趣的數據挖掘。這裡,我選用的語料是人人網2011年12月前半個月部分用戶的狀態。非常感謝人人網提供這份極具價值的網絡語料。

要從一段文本中抽出詞,第一個問題就是:怎樣的文本片段才算一個詞?大家首先想到的標準,或許是看這個片段出現的次數是否足夠多。我們可以把所有出現頻數超過某個閾值的片段提取出來,作為該語料的詞彙輸出。不過,光頻次高還不夠,一個經常出現的片段有可能不是一個詞,而是多個詞組成的短語。在人人網用戶狀態中,“的電影”出現了389次,“電影院”只出現了175次,但我們卻更傾向於把“電影院”當作一個詞,因為直覺上“電影”和“院”凝固得更緊。

為了證明“電影院”的內部凝固程度確實更高,我們可以計算一下:如果“電影”和“院”真是各自獨立地隨機出現,它倆恰好拼到一起的概率會有多小。在這份2400萬字的數據中,“電影”一共出現2774次,概率約為0.000113;“院”字出現4797次,概率約為0.0001969。若兩者毫無關係,恰好拼在一起的概率應為0.000113 × 0.0001969,約為2.223 × 10⁻⁸。但事實上,“電影院”在語料中出現了175次,概率約為7.183 × 10⁻⁶,是預測值的300多倍。類似地,“的”字出現概率約為0.0166,因此“的”和“電影”隨機組合的理論概率為0.0166 × 0.000113,約為1.875 × 10⁻⁶,這與“的電影”出現的真實概率(約1.6 × 10⁻⁵)很接近,僅為預測值的8.5倍。計算結果表明:“電影院”更可能是一個有意義的搭配,而“的電影”更像是“的”和“電影”偶然拼到一起的。

當然,作為一個無知識庫的抽詞程序,我們並不知道“電影院”是“電影”加“院”得來,也不知道“的電影”是“的”加“電影”得來。錯誤的切分方法會過高估計某個片段的凝合程度——如果我們把“電影院”看成“電”加“影院”,得到的凝合程度反而更高。因此,為了算出一個片段的凝合程度,我們需要枚舉它的切分方式——它究竟由哪兩部分組合而成。令 p(x) 為片段 x 在語料中出現的概率,那麼我們把“電影院”的凝合程度定義為 p(電影院) 與 p(電)·p(影院) 的比值、以及 p(電影院) 與 p(電影)·p(院) 的比值中的較小值;“的電影”的凝合程度,則是 p(的電影) 分別除以 p(的)·p(電影) 和 p(的電)·p(影) 所得商的較小值。

可以想見,凝合程度最高的片段,就是諸如“蝙蝠”“蜘蛛”“彷徨”“忐忑”“玫瑰”這類詞——它們裡的每一個字幾乎總是與另一個字同時出現,從不在其他場合單獨使用。

不過,光看片段的內部凝合程度還不夠,我們還要從整體上看它在外部的表現。拿“被子”和“輩子”這兩個片段來比:我們可以說“買被子”“蓋被子”“進被子”“好被子”“這被子”等等,在“被子”前面加各種字;但“輩子”的用法卻非常固定,除了“一輩子”“這輩子”“上輩子”“下輩子”,前面基本加不了別的字。“輩子”左邊能出現的字實在太有限,以至於直覺上我們反而會覺得,“輩子”並不單獨成詞,真正成詞的是“一輩子”“這輩子”之類的整體。可見,一個片段能否自由運用,也是判斷它是否成詞的重要標準。如果一個片段能被算作一個詞,它就應該能靈活地出現在各種不同環境中,擁有非常豐富的左鄰字集合。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved