DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
借 WordNet 給 RDF 一對語意翅膀:讓檢索從關鍵字走向概念
編輯:XML詳解     

本系列的第三篇,示範如何把 WordNet 的同義詞集併進 RDF 應用程式,替它裝上語意知識。有了這層詞彙資料庫的加持,你就能一次搜出一整組概念相關的 RDF 資料,而不必一個關鍵字一個關鍵字慢慢試。放回問題追蹤程式的情境:你查一次「selection」這個概念,就能撈到所有相關實例,不必再對「vote」、「choice」、「ballot」以及另外八十多個近義詞逐一動手。專欄作家 Uche Ogbuji 用 Python 寫的範例程式,完整示範了這套做法。

既然前面幾篇已經把「如何從 XML 應用程式抽取資料到 RDF 模型」的基礎技術交代過了,現在該來領取這份投資的報酬。如果你最近沒讀過前兩篇,往下讀之前可能得先回頭補一下(請見右側「內容」表中「相關內容」一節的連結)。

你應該還記得,示範用的應用程式是一個以 XML 格式管理事件資料的問題追蹤器。到目前為止,本專欄已經談過從這些資料抽取 RDF 的技術,以及查詢結果 RDF 模型的基本方法。接下來,我們用一個實例把「為什麼這些努力很值得」說清楚。

WordNet 是什麼

WordNet 是普林斯頓大學的一個計畫,它被稱為「英語詞彙資料庫」。這個系統的做法,是把意義相同的字彙集合集中在稱為「同義詞集」(synonym sets)或「同義集」(synsets)的群組裡,藉此描述並分類單字與概念。這是一個重要而長期的計畫,我實在無法把讚美說得太滿——正因為它的開放性,幾乎任何開發者都能取用,這點格外關鍵。WordNet 採用「不受限制」的授權條款,性質近似 BSD:唯一真正的限制,是不可以盜用普林斯頓大學的商標去宣傳 WordNet 的任何衍生產品。

必須指出,把智力勞動中最重要的一批成果自由釋出、供公益使用,永遠是好事。這些年我們聽到太多類似的新聞:某些組織企圖藉由免費取用公共知識、卻拒絕無償回饋,來獲取那種說不上站得住腳的利潤。

WordNet 當前版本為 1.7,收錄了數以萬計名詞的同義集詞彙表。同義集之間還記錄了對大量概念(包含子類關係)的連結:上義關係(hypernym)是下義關係的超類,下義關係(hyponym)則是其子類。此外,WordNet 也收錄了彼此相似但並非同義的概念之間的映射。

普林斯頓發布的 WordNet 本體,是各種平台上的資料檔加上命令列查詢工具。不少專案對 WordNet 做了修改與增強;而正因為它構成了一張結構良好的資源網絡,RDF 社群對採用 WordNet 一直特別積極。相關專案包括 Dan Brickley 的 Web WordNet,以及 Jonathan Borden 博士把它改寫成可瀏覽 XHTML 格式的版本。本文使用的是 WordNet 資料庫到 RDF 的直接轉換,出自 Sergey Melnik 與 Stefan Decker 之手;他們和 Brickley、Borden 一樣,都活躍於 RDF 社群。我提到的多數專案(包含這裡採用的 Melnik 與 Decker 轉換)仍以 WordNet 1.6 為基礎。

安裝 WordNet/RDF

本專欄的範例示範如何用 RDF 工具與 WordNet 的 RDF 模型,替 RDF 建構的問題追蹤器加上語意能力。任何 RDF 工具都能勝任,稍作調整即可跟完整個流程。我這裡採用本公司開源專案 4Suite 中的 4RDF。以 RDF 表示的 WordNet 體積極為龐大,因此會用 4RDF 的持久化資料庫後端來管理它。4RDF 既能在記憶體中管理模型(這是本系列一路以來的作法),也支援把模型放進持久儲存——例如以平面檔案形式存放在 PostgreSQL、Oracle 這類 SQL DBMS 中,或存放在我開發的實驗性自訂 RDF 後端 Mangrove 裡。由於 Mangrove 預計才會在 4Suite 下一個發行版本 0.12.0 中首次亮相,在那之前用不了,所以本文範例改用 PostgreSQL。PostgreSQL 是開源、企業級的關聯式資料庫,許多 Linux 發行版都預附它,其他平台也有現成的套件。

要安裝,請先下載 WordNet/RDF 檔案。我必須修好幾處,因為 Wordnet_hyponyms-20010201.rdf 這個檔案有損壞。第 58268 行原本是

<rdf:Descripout="&a;103178459">

要改成

<rdf:Description rdf:about="&a;103178459">

第 109228 行原本是

<b:hyponymOf rdf:resof rdf:resource="&a;105862019"/>

要改成

<b:hyponymOf rdf:resource="&a;105862019"/>

接著(對語意版問題追蹤器而言),把名詞與下義關係的 WordNet RDF 檔加進名為 sit 的 PostgreSQL RDF 模型:

清單 1. 把 WordNet RDF 檔加進名為 sit 的資料庫 RDF 模型

$ 4rdf --driver=Postgres --dbName=sit Wordnet_nouns-20010201.rdf
$ 4rdf --driver=Postgres --dbName=sit Wordnet_hyponyms-20010201.rdf

如清單 1 所示,必須指定 Postgres 驅動程式,並給出資料庫名稱。若該名稱的資料庫不存在,就會新建一個;若已存在,生成的陳述會直接併入其中。

在回到問題追蹤器之前,先拿剛建好的 WordNet 模型跑一個簡單的測試腳本試試手。

清單 2. 練習 WordNet RDF 模型的小測試程式(wn-test.py)

from Ft.Rdf.Drivers import Postgres
from Ft.Rdf import Model, Util
WN_RDF_BASE = "https://www.cogsci.princeton.edu/~wn/schema/"
def Test():
 db = Postgres.GetDb('Wordnet')
 db.begin()
 m = Model.Model(db)
 print "Size of the model (number of statements): ", m.size()
 print "Synonyms of the Word 'knowledge':"
 noun = Util.GetSubject(m, WN_RDF_BASE+'WordForm', 'knowledge')
 print Util.GetObjects(m, noun, WN_RDF_BASE+'WordForm')
 print "Classification chain for 'knowledge':"
 HypernymChain(noun, 'knowledge', m)

 db.rollback()
 return
def HypernymChain(noun, wform, m):
 hyper = Util.GetObject(m, noun, WN_RDF_BASE+'hyponymOf')
 if hyper:
 hwform = Util.GetObject(m, hyper, WN_RDF_BASE+'WordForm')
 print "%s is a kind of %s"%(wform, hwform)
 HypernymChain(hyper, hwform, m)
 return
if __name__ == "__main__":
 Test()

清單 2 裡的 Postgres.GetDb('sit') 建立到先前那份 RDF 資料庫後端的連線。連線建立之後,在後端開啟一個交易,並用它造出可供查詢的模型物件。程式先單純看一下模型裡有幾條陳述,然後用上一篇介紹過的幾種 RDF 查詢基本手法,找出「knowledge」這個字的同義詞,並沿著概念間的分類鏈一路往上追。

WordNet/RDF 用下面這種形式的 URI 來表示名詞同義集:

https://www.cogsci.princeton.edu/~wn/concept#100001740

其中 100001740 就是同義集的識別碼。接著,同義集中的每一個詞各有一條 WordForm 陳述;若有對應關係,還會多一條 hyponymOf 陳述,把該同義集連到它的超類。因此測試程式只要沿著這個模式做幾次簡單查詢,就能取出同義詞。HypernymChain 是個遞迴函式:先取得同義集資源與其中某個詞的詞形,再往上找上義關係。把清單存成 wn-test.py,然後這樣執行:

$ Python wn-test.py
Size of the model (number of statements): 351632
Synonyms of the Word 'knowledge':
['cognition', 'knowledge']
Classification chain for 'knowledge':
knowledge is a kind of psychological feature

問題追蹤器的詞彙層

上一個專題談過如何把多份 XML 文件轉換成序列化的 RDF,再讓結果通過 RDF 處理器。現在,該把這些陳述加進與 WordNet 同一個模型裡了:

$ 4rdf --driver=Postgres --dbName=sit issues.rdf

這行指令同樣指定 Postgres 驅動程式與相同的資料庫名稱,差別只在這次讀的是 issues.rdf——如果你還記得,這個檔案裝的是從範例問題追蹤文件抽取出的中介資料。

現在,我們可以把之前用過的查詢再跑一遍,只是這回它有了語意能力。舉例來說,上一個專題示範過用正則表達式,找出指派給 uogbuji、且動作主體裡含字串 vote 的所有操作。而這一次,比方說我們想找出指派給 uogbuji、與廣義「選擇」有關的所有操作。這時不必再比對字串樣式,而是要在語言認知層上做真正的詞彙比對。我們要找的字都帶有 selection 的含義:不只是 vote,還有 choice 和 ballot。

清單 3 就是執行這項搜尋的程式。

清單 3. 依英語語意概念執行搜尋的程式(seman-search.py)

from Ft.Rdf.Drivers import Postgres
from Ft.Rdf import Model, Util
from Ft.Rdf.Model import REGEX
USER_ID_BASE = 'https://users.rdfinference.org/ril/issue-tracker#'
IT_SCHEMA_BASE = 'https://XMLns.rdfinference.org/ril/issue-tracker#'
WN_RDF_BASE = "https://www.cogsci.princeton.edu/~wn/schema/"
g_relatedWords = []
def SemanSearch(Word):
 db = Postgres.GetDb('Wordnet')
 db.begin()
 model = Model.Model(db)
 #Find the synset resource of which we have the Word form
 noun = Util.GetSubject(model, WN_RDF_BASE+'wordForm', Word)
 print 'Actions assigned to uogbuji related to "%s":'%(Word)
 #Get all Word forms of this synset and its hyponyms
 HyponymWords(noun, model)
 #Combine all the Words into one large regular expression
 pattern = ".*" + "|".join(g_relatedWords) + ".*"
 #Use this regex to search for the appopriate concepts
 actions = Util.GetSubjects(model, IT_SCHEMA_BASE+'body', pattern,
 objectFlags=REGEX)
 #Iterate over the bodies of the matching actions
 for action in actions:
 #See if this action is assigned to uogbuji
 assignee = Util.GetObject(model, action, IT_SCHEMA_BASE+'assign-to')
 body = Util.GetObject(model, action, IT_SCHEMA_BASE+'body')
 if assignee == USER_ID_BASE+'uogbuji':
 print "*", body
 db.rollback()
 return
def HyponymWords(noun, model):
 words = Util.GetObjects(model, noun, WN_RDF_BASE+'WordForm')
 print "words", Words
 g_relatedWords.extend(Words)
 hypos = Util.GetSubjects(model, WN_RDF_BASE+'hyponymOf', noun)
 print "hypos", hypos
 for h in hypos:
 HyponymWords(h, model)
 return
if __name__ == "__main__":
 import sys
 SemanSearch(sys.argv[1])

清單 3 中,SemanSearch 是主函式。它從開啟同時帶有 WordNet 與問題追蹤器資料的 RDF 模型開始。函式接受一個參數:作為概念性搜尋基礎的單字。第一步是把該單字對應到 WordNet 同義集資源;接著,程式把該同義集其餘所有詞形(同義詞),以及下義關係同義集中的所有詞形,一併加進搜尋清單。以「selection」這個起始概念為例,清單 4 列出了這次一共撈到的 89 個相關單字。

清單 4. 搜尋「selection」的同義詞與下義關係所得結果

['choice', 'pick', 'selection', 'casting', 'sampling', 'random
sampling', 'proportional sampling', 'representative sampling',
'stratified sampling', 'conclusion', 'decision', 'determination',
'appointment', 'assignment', 'designation', 'naming', 'nominating',
'nomination', 'co-optation', 'co-option', 'delegacy', 'ordaining',
'ordination', 'laying on of hands', 'call', 'move', 'demarche',
'maneuver', 'maneuvering', 'manoeuvering', 'manoeuvre',
'tactical maneuver', 'tactical manoeuver', 'parking', 'device',
'gimmick', 'twist', 'fast one', 'trick', 'feint', 'gambit', 'ploy',
'stratagem', 'artifice', 'ruse', 'measure', 'step', 'countermeasure',
'countermine', 'porcupine provision', 'shark repellent', 'golden
parachute', 'greenmail', 'pac-man strategy', 'poison pill', 'suicide
pill', 'safe harbor', 'scorched-earth policy', 'casting lots', 'drawing
lots', 'sortition', 'finding', 'finding of fact', 'verdict', 'compromise
verdict', 'quotient verdict', 'directed verdict', 'false verdict',
'general verdict', 'partial verdict', 'special verdict', 'conclusion
of law', 'finding of law', 'volition', 'willing', 'election', 'co-optation',
'co-option', 'ballot', 'balloting', 'vote', 'voting', 'secret ballot',
'split ticket', 'straight ticket', 'multiple voting', 'casting vote',
'veto', 'pocket veto']

為了對這份搜尋清單裡的字(也就是問題動作)做一次總掃描,程式把這些詞形拼成一個巨大的正則表達式。然後,一如先前專欄所示範的,再把命中的操作清單收斂到指派給 uogbuji 的那些。以下是執行清單 3 程式的輸出:

$ Python seman-search.py selection
Actions assigned to uogbuji related to "selection":
* Organize a vote on this topic

在命令列傳入基本概念(這裡是 selection),程式就把符合的操作印出來。

並非一切都完美

這種語意搜尋法當然還有問題,最明顯的就是效能。WordNet/RDF 圖表規模龐大,遍歷代價高得驚人。以剛才那次示範為例,用 selection 當作搜尋的基本概念,在一台 PIII 1GHz 筆電上跑了兩分多鐘,把磁碟上的 DBMS 折磨得不輕。幾乎所有時間都耗在遞迴往下走訪下義關係鏈。如果換成「thing」這種抽象概念,我幾乎不敢猜要跑多久——它很可能直接把機器拖垮。

和前幾個專題一樣,這個問題有一部分源自範例仍在用相當蠻力的方式查詢 RDF 模型,完全沒有動用任何優化。等到後續文章討論 RDF 推論語言(RIL)時,我會提出一些優化手段。然而,即便做過優化,像這樣功能強大的搜尋恐怕還是有幾個難纏的效能障礙。

有些效能問題可以用策略繞開。比方說,可以禁止搜尋超過某個抽象層級。一個比較粗略的抽象程度衡量方式,是從同義集到其最遠下義關係之間的最長距離。另外,由於多數時間都花在遍歷 WordNet 圖表上,另一條路是預先用爬行者(crawler)備妥常見搜尋的相關概念清單,把常用查詢的結果先存起來。

另一個問題是 WordNet 本身的覆蓋仍然不足。WordNet 幾乎涵蓋了所有常用名詞與名詞片語,卻沒有處理動詞、修飾語與語言的其他成分,這自然限制了搜尋效果。再加上它是個英語專案,其他語言目前還享受不到這種強大的語意搜尋。EuroWordNet 正在開發歐洲語言的對應版本,但仍在進行中。當然,還有許多同樣重要的語系——例如東亞與中東語言——可能連這樣的設施都還沒有。

結語

看到大家對「用 RDF 做語意查詢」所展現的興奮反應,我一直很開心。它有辦法讓人理解半結構化關聯與中介資料管理的價值,這對我而言簡直是恩賜——因為要向生意人、甚至許多開發者解釋清楚這個概念,實在不是一件容易的事。接下來我會繼續透過 RDF 驅動的問題追蹤器細節,探索知識管理改進應用程式的方式。不過下一篇會先岔個路,談談本專欄早些時候某些主題的最新動態。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved