WordNet 是普林斯頓大學的一個研究計畫,目標是建立英語詞彙及其詞法關係的資料庫。這樣的工具,正好可以為 XML 的語義應用打下不錯的基礎——例如本專欄先前提到過的、能辨識同義詞的搜尋。本文回顧基本原理,並給出把 WordNet 2.0 查詢成 XML 文件的程式碼,這是打造更通用 WordNet/XML 應用的第一步。
我以前在本專欄談過 WordNet,主要在 RDF 格式下的應用。此後變化不少:WordNet 計畫從 1.7 版推進到 2.0 版,詞彙分類有一些細微調整;先前討論的 RDF 表示仍停留在 WordNet 1.6;而 2.0 版中途的一些變動,使得舊有的向後相容性無法全面維持。
與此同時,語義 Web 技術正悄悄走入主流,而開發者對「如何解決語義透明問題」——也就是整個 Thinking XML 專欄的核心關切——投入了越來越多注意力。在這個領域,討論的重心已從「這類技術有多大的潛力」,轉向最佳實踐與應用程式介面。包括我在內的一些有興趣的團體,持續在尋找「既用上語義 Web 技術,又不必把一切都硬塞成 RDF 序列化」的路徑。WordNet 是一個規模龐大、資料基礎定義得非常嚴謹的資料導向計畫,應用面又極廣(我在先前的文章裡示範過,如何用 WordNet 替特定應用的搜尋功能加上更多智能),因此它無可避免地成為這場討論的焦點。
接下來我會用一系列文章,重新檢視 WordNet 2.0 及其在 XML 與 RDF 技術中的應用。這是第一部分。
許多 WordNet 相關計畫最後都因為資料版本過時而逐漸荒廢,很大一部分原因是資料庫格式的轉換問題沒能解決。我認為這恰好說明了「可重用的建構格式」有多重要,例如 XML 形式的 WordNet 文件(其中可能還包含 XML/RDF)。一種務實的做法是:寫程式,從您慣用的語言去存取 WordNet 資料庫——市面上其實已有不少這類計畫。對我來說,那個語言自然是 Python。
Python 世界裡有兩個 WordNet 相關計畫,PyWN 是其一,但它同樣停留在舊版本,所以我選了 PyWordNet。我裝的是 Python 2.4,下載 PyWordNet 2.0.1 之後,用 python setup.py install 完成安裝。
PyWordNet 不附帶 WordNet 的資料庫檔案,這些得另外下載。也不需要編譯 WordNet 套件,把檔案解壓到適當位置即可,PyWordNet 需要的檔案放在 dict 子目錄。PyWordNet 會去 WNHOME 環境變數指定的位置尋找 WordNet 檔案;在 UNIX 機器上若沒有設定該變數,則會退回預設路徑 /usr/local/Wordnet2.0。都準備好之後,跑一次 python -c "from wntools import *" 就能確認是否正常。我執行時看到四則顯然無害的錯誤訊息:
Exception exceptions.AttributeError:
"DbfilenameShelf instance has no attribute 'writeback'" in ignored
我認為這則訊息源自眾所周知的 Python shelve 模組問題——它負責讀入 WordNet 使用的一些雜湊資料庫檔案。儘管出現這些訊息,後續處理仍可無礙進行。
PyWordNet 透過一批專門的方法,把 WordNet 資料公開成一組 Python 資料結構。程式碼裡有相當詳細的說明,只是沒有獨立的文件。因此,從 PyWordNet 首頁上的範例開始摸索時,搭配內建的 help 函式就能應付大部分情況。
現在的任務,是利用這些資料結構做出一個工具,把 WordNet 序列化成 XML。只要花一點力氣,就足以支撐語義查詢的需求;若您願意,也可以把它當成工具輸入,用來產生完全獨立的 WordNet 資料檔(這個方向以後的文章還會細談)。序列化 WordNet 的方法有很多種,我們從最簡單的開始:只有少量命名空間的老式 XML。這個模組見清單 1。這些程式需要 Python 2.2 以上、4Suite 1.0a3 以上,以及 PyWordNet 2.0.2。
import sys
import cStringIO
# 匯入 PyWordNet 函式庫
from wntools import *
# 匯入 4Suite 的 XML 產生函式庫
from Ft.Xml.Xslt.XmlWriter import XMLWriter
from Ft.Xml.Xslt.OutputParameters import OutputParameters
from xml.dom import EMPTY_NAMESPACE, XML_NAMESPACE
def serialize_synset(synset):
'''
把一個 synset 序列化成位元組字串形式的 XML
'''
# 先把輸出緩衝到位元組字串裡
stream = cStringIO.StringIO()
# 設定 XML 輸出參數
oparams = OutputParameters()
oparams.indent = 'yes'
# 建立 XML writer 實例
writer = XMLWriter(oparams, stream)
writer.startDocument()
writer.startElement(unicode(synset.pos))
# 用 offset 當作 ID
writer.attribute(u'xml:id', unicode(synset.offset), XML_NAMESPACE)
writer.startElement(u'gloss')
writer.text(unicode(synset.gloss))
writer.endElement(u'gloss')
# 寫出所有詞形
for sense in synset:
writer.startElement(u'Word-form')
writer.text(unicode(sense.form))
writer.endElement(u'Word-form')
# 寫出所有「指標」(詞與詞之間的關係,
# 更精確地說,是 synset 與 synset 之間的關係)
for ptr in synset.pointers():
writer.startElement(unicode(ptr.type))
writer.attribute(u'part-of-speech', unicode(ptr.pos))
writer.attribute(u'target', unicode(ptr.targetOffset))
writer.endElement(unicode(ptr.type))
writer.endElement(unicode(synset.pos))
writer.endDocument()
# 從緩衝區取出文字
return stream.getvalue()
def serialized_synsets_for_word(word_form):
'''
回傳與某個詞形相關的所有 synset 的序列化結果清單
'''
synsets = []
for d in Dictionaries:
part = d.pos
try:
word = getWord(word_form, part)
# 取出該詞性下與這個詞形相關的所有同義詞集
synsets.extend([ w.synset for w in word ])
except:
pass
# 逐一序列化每個 synset,回傳清單
return [ serialize_synset(ss) for ss in synsets ]
PyWordNet 被組織成四本「字典」,分別對應 WordNet 2.0 的四個部分:名詞、動詞、形容詞與副詞。詞彙的詞形是主鍵,每一筆記錄都包含含義(sense)、同義詞集(synset)、註解(gloss)與指標(pointer)。這幾個都是 WordNet 裡的常見術語:
我認為多數講求語義透明的 WordNet 應用,都必須處理指標。在早期那篇 WordNet 文章裡,我詳細介紹過上位/下位關係。基於這個預期中的重點,我把查詢結果的粒度定在「同義詞集的序列化」。以 serialized_synsets_for_word('selection') 呼叫清單 1,得到的會是一組 XML 文件。清單 2 是其中的第一份,清單 3 是第三份(這批共有五份,我隨手挑了兩份)。
<?xml version="1.0" encoding="UTF-8"?>
<noun xml:id="152253">
<gloss>the act of choosing or selecting; "your choice of colors was
unfortunate"; "you can take your pick"</gloss>
<Word-form>choice</Word-form>
<Word-form>selection</Word-form>
<Word-form>option</Word-form>
<Word-form>pick</Word-form>
<hypernym part-of-speech="noun" target="32816"/>
<frames part-of-speech="verb" target="653781"/>
<frames part-of-speech="verb" target="656613"/>
<frames part-of-speech="verb" target="652154"/>
<hyponym part-of-speech="noun" target="152613"/>
<hyponym part-of-speech="noun" target="152749"/>
<hyponym part-of-speech="noun" target="152898"/>
<hyponym part-of-speech="noun" target="153642"/>
<hyponym part-of-speech="noun" target="154057"/>
<hyponym part-of-speech="noun" target="170871"/>
<hyponym part-of-speech="noun" target="173378"/>
</noun>
<?xml version="1.0" encoding="UTF-8"?>
<noun xml:id="5455460">
<gloss>the person or thing chosen or selected; "he was my pick
for mayor"</gloss>
<Word-form>choice</Word-form>
<Word-form>pick</Word-form>
<Word-form>selection</Word-form>
<hypernym part-of-speech="noun" target="5453619"/>
<frames part-of-speech="verb" target="653781"/>
<hyponym part-of-speech="noun" target="5455670"/>
<hyponym part-of-speech="noun" target="5455968"/>
<hyponym part-of-speech="noun" target="5456920"/>
</noun>
為了排版美觀,我把 gloss 拆成了幾行。這些 XML 結果裡有不少值得留意的細節。
指標的形式如下:
<hypernym part-of-speech="noun" target="32816"/>
part-of-speech 與 target 兩個屬性,合起來就足以在整個 WordNet 資料庫裡唯一標識一個同義詞集。target 的值是原始資料庫中的偏移量。這個偏移量跨版本是否仍然安全,我并不確定,但一般也不需要跨版本使用。在特定版本之內,您可以用 PyWordNet 的 getSynset 函式解析上面這種指標,把詞性與偏移量傳進去即可。另外我也在 synset 輸出中,用 xml:id 把這些偏移量當成唯一的 XML 標識符使用。
WordNet 作為一項資源的價值,怎麼稱讚都不嫌過分。語義透明仍然是一個極其困難的問題,但能有這樣一個計畫,為「分析單字之間的關係」提供機器可讀的框架,幫助實在很大。後續的文章我會繼續探討應用程式如何以程式方式使用 WordNet,並以本文的 XML 查詢為基礎往下延伸;其中幾篇會涉及 RDF,另外幾篇則談純粹的 XML,所以不必擔心您偏好的技術被冷落。如果您對 WordNet 的應用有想法或實務經驗,歡迎透過 Thinking XML 討論區與大家分享。