DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
優化原生 XML 資料庫:實務上真正有效的一些準則
編輯:XML詳解     

RSS、Atom、mashup、進階搜尋與各種新興需求,正讓原生 XML 資料庫成為搜尋類應用與服務的關鍵環節。這類資料庫的強項在於:能在大量半結構化資料中進行高效率檢索。以下整理幾條能讓 XQuery 與 XML 資料庫發揮最大效能的通則。

XQuery 與原生 XML 資料庫

在某些場景下,於原生 XML 資料庫中使用 XQuery 特別合適。與傳統關聯式資料庫相比,當查詢以唯讀為主且結構複雜時,原生 XML 資料庫往往能提供更快的回應時間與開發速度。XQuery 是目前最成熟的資料轉換系統,而且直接內建於查詢語言之中,讓你不必另外設計全文索引系統、也不必為使用者手工組裝大量資料。

代價出現在寫入端:以犧牲插入與更新的速度為交換,原生 XML 資料庫提供近乎開箱即用的查詢效能——因為它們讓資料保持基本非正規化、內建預設索引,並能充分利用可用記憶體。不過處理超大資料集時,遵循以下準則仍能再擠出可觀的效能。

  1. 避免正規化
  2. 採用唯一元素名稱
  3. 預先計算數值
  4. 用查詢直接轉換資料
  5. 分析 XQuery 程式碼
  6. 維護一份優化清單

這些準則是通用的,適用於目前多數原生 XML 資料庫,包括 IBM DB2 Express-C、MarkLogic Server、eXist 以及 Oracle Berkeley DB XML。

一、避免正規化

設計原生 XML 資料庫時,最重要的一件事是:不要沿用關聯式資料庫那套正規化思路。

正規化的做法是把資料拆成多個 XML 文件型別,彼此以類似關聯表外鍵的方式互相參照。但在多數情況下,原生 XML 資料庫的資料應該盡可能少正規化,甚至完全不。把原本該分散在幾十張關聯表中的資料集中放進一個 XML 文件型別,是非常常見的設計。

原因很直接:目前多數 XQuery 實作的 join 操作效率不佳,即使只涉及幾千筆記錄的簡單查詢,也可能耗掉令人難以接受的時間。因此結論很清楚——除非確有必要,否則不要正規化,以免被迫在查詢時做連結。

判斷依據是「可預期的查詢」。如果你要做一個影片出租應用,可以合理預期使用者會查詢「標題含某關鍵字且由某導演執導」的影片,那麼表示影片的 XML 文件就應該同時包含標題與導演姓名。反過來,你大概不會預期使用者查詢「標題含某關鍵字且導演出生於紐約」的影片——這種查詢更貼近資料探勘而非日常行為。對後者,把導演的詳細資料(不只姓名)拆到另一個文件型別裡,是可以接受的取捨。

用兩個互相參照的文件型別 video-rec 與 director-rec 來描述資料時,要查詢「導演出生於紐約」就必須做連結。若你沒有充分理由把導演資訊獨立出去,就該把它留在 video-rec 裡。

不過要區分兩種情況:篩選時做連結永遠低效,但呈現結果時從多個文件取資料通常是可取的。前述影片應用若想顯示導演出生地,雖然得從原始結果之外的文件取資料,但這只發生在少數幾筆已篩選出的記錄上,計算與記憶體需求相對可忽略。

二、採用唯一元素名稱

唯一元素在任何位置都指向同一個元素;非唯一元素則可能出現在文件各處,必須搭配路徑才有意義。如果一份 XML 文件裡有十種型別不同的節點,每種都有一個 date 子元素,那麼 date 就是非唯一名稱。

使用非唯一名稱會影響你評估和分析查詢的能力,也會妨礙面搜索(faceted search)的支援。以下是一個典型設計:

<class-info>
   <school>Lusher Elementary School</school>
   <grade>10</grade>
   <teachers>
     <teacher><name><first>Carol</first><last>Osborne</last></name></teacher>
     <teacher><name><first>Dan</first><last>Silver</last></name></teacher>
   </teachers>
   <students>
     <student><name><first>Andrew</first><last>Silver</last></name></student>
     ......
   </students>
</class-info>

影響:查詢要走多少索引

要查姓 Silver 的學生名字,未建索引時最佳寫法是:

/class-info/students/student/name[last = "Silver"]/first

它限定了資料庫必須搜尋的分支數量,回傳 <first>Andrew</first> 與 <first>Bruce</first>。

但資料一旦建索引,尤其是在超大資料集上,下面這個寫法可能更快:

//name[last = "Silver"]/first

因為系統只需檢查索引中較少的元素。然而由於上述設計用了非唯一名稱,這個查詢會額外撈到一位老師 Dan——結果是錯的。這個設計讓你無法撰寫「少用索引」的查詢。修正方式是改用唯一名稱:

//teacher/name         => //teacher/teacher-name
//teacher/name/first => //teacher/teacher-name/teacher-first
//teacher/name/last  => //teacher/teacher-name/teacher-last
//student/name        => //student/student-name
//student/name/first => //student/student-name/student-first
//student/name/last  => //student/student-name/student-last

影響:支援面搜索

面搜索的目的是讓使用者沿多個維度快速縮小搜尋範圍。一個列出所有教師的查詢,可能在介面上呈現這樣的結果:

Tabor, Gavin
Nance, Jamey
Haas, Carlene
...

Narrow your search:

School
   Lusher Elementary School (35)
   Academy of the Sacred Heart (34)
   Isidore Newman School (32)
   ...

Grades
   9 (5)
   10 (6)
   11 (6)
   12 (6)

括號中的數字代表點擊該連結會找到多少筆結果。當某個面的可能值很少(如年級)時,通常全部列出並依重要性排序;當可能值很多時,則只顯示能導出最多結果的那幾個,依結果數降序排列。

部分原生 XML 資料庫已內建面搜索支援,但需要專用索引才能發揮效能。隨著記錄數與面值的增加,用一般 XQuery 算法計算每個面值對應的結果數會迅速成為瓶頸——對一個有數千個面值的大型資料庫而言,這種算法根本行不通。要讓面搜索發揮威力,引擎必須能從某元素在資料庫中的所有值建構字典,而這需要專用索引,也就需要唯一元素名稱。

即使你用的資料庫不支援面搜索、必須自己寫程式實作,你同樣會發現唯一名稱是多麼重要——原因與高階資料庫內建的實作完全一致。

三、預先計算數值

對熟悉關聯式資料庫的人來說,「往文件裡塞冗餘資料」簡直不可思議。但當你的首要目標是效能時——例如要為查詢數千萬筆記錄的請求即時回傳面搜索結果——依文件內容預先計算部分數值並寫回文件,能大幅改善回應時間。原生 XML 資料庫本來就是用儲存空間換效能的。

假設你有一批影像中繼資料文件,每個都含有一或多個 camera、device、scanner 元素,描述產生影像的設備資訊。其中 device 是複雜節點,含設備名稱及其他多個資訊元素,這些都得保留供應用其他部分使用。

<image>
   <id>123456789</id>
   <date>2009-11-16T03:14:42</date>
   <description>Eiffel Tower</description>
   <device>
     <device-name>Scanmelter 2000</device-name>
     <device-resolution>300dpi</device-resolution>
     <device-manufacturer>Scanners Inc.</device-manufacturer>
     <service-tag>ASDFQWER</service-tag>
   </device>
   <width>1200</width>
   <height>1024</height>
</image>

應用有一個名為 scanning device 的面,要顯示設備名稱;另有一個 size 面,數值可由 width 與 height 輕易算出。

現在假設查詢某天拍攝的影像會得到五千筆結果,介面顯示其中三十筆,並列出各面的前幾個值。問題就在這裡:要算出每個面值對應多少筆記錄,程式本身很簡單,卻完全無法擴展。面值可能有數百個,每個都要算一次結果數,才能決定該面要列出哪五個值。當記錄數、面數與面值數同時成長,效能會迅速惡化。若應用需要顯示五十個面並處理數百萬筆記錄,你別無選擇——只能預先計算面值並寫回記錄中。

換句話說,在文件裡加上 scanner-name 與 size 兩個元素,這個看似微小的改動就能讓整個實作具備可擴展性。

四、用查詢直接轉換資料

XQuery 最大的優勢是能精確按呼叫端需求輸出資料,但這個優勢常常被用得其實最糟。許多架構師傾向把原生 XML 資料庫當成一個後端服務,只負責回傳原始 XML,把轉換與呈現都推給前端。

訪問過用 XQuery 取資料的公司,多半能說出一堆「先取回 XML、再用 XSLT 在前端轉換」的理由:我們計畫做其他產品要用同樣資料;前端團隊熟悉 XSLT、Perl、PHP、JavaScript 與 Java;我們想走服務導向架構;我們不懂 XQuery 所以想盡量別用它;我們已有現成的資料管道;XQuery 看起來很複雜;XQuery 做不到某某事。

篇幅有限,無法逐條反駁,但請記住幾點事實:

  • 最終要呈現給使用者的資料,通常遠小於資料庫中存放的原始資料。
  • 無論從哪個角度看,XQuery 都比 XSLT 更簡單、更強大、更精簡。
  • 在資料出口就完成轉換,比稍後再用 XSLT 或任何工具轉一遍快得多。
  • 你可以撰寫 XQuery,讓呼叫端請求各種不同格式的輸出。

當轉換資料的程式碼與定位資料的程式碼放在一起、用同一種語言撰寫時,系統的整體複雜度會大幅下降。

第一點值得再強調:注意大型 XML 記錄。盡量避免把大塊原始資料送到前端再轉換,在資料離開資料庫的過程中就完成轉換,讓盡可能小的資料塊上網路——這通常能直接改善應用的回應性與可擴展性。

至於那些捨不得用 XQuery 全部能力的團隊,真正的原因往往是對未知事物的恐懼。這完全可以理解,但既然你已經在用原生 XML 資料庫,把它的能力用盡,最後只會讓事情變得更好。

五、分析 XQuery 程式碼

性能分析的意思是找出程式各部分各自花了多少時間,目的是辨識最值得優化的區塊。這些區塊不一定是最慢的——有時一段已經相當高效的程式碼才是你最該關注的地方。舉例來說,一段跑十秒的程式很難優化到一秒,但假如它每天只跑一次,你就該把精力放在每天跑一百萬次的函式上,即使後者只能快個百分之幾。

多數原生 XML 資料庫都提供一些基準測試或性能分析工具,請務必使用。若工具無法以你想要的方式量測特定段落,就毫不猶豫地自己寫測試程式——在自己的 XQuery 模組中插入計時程式碼不會有任何問題,尤其是你可以在正式環境中把測試程式碼關掉。

此外,由於 XQuery 是函數式語言,每個函式都是獨立的,回傳序列在很大程度上只取決於傳入的參數。因此為 XQuery 函式撰寫單元測試與功能測試,比在 Java、Python、Perl、C、PHP 這類命令式語言中做同樣的事簡單得多。你甚至可以用外部程序(例如一支小腳本)輕易量測單一函式的執行時間。像某些編輯器就能做到:highlight 一段程式碼、按一組按鍵,腳本會把它送到伺服器執行,再把結果連同執行時間戳一起帶回新的緩衝區。

六、維護一份優化清單

應該為你的平台準備一份可行的優化清單,每次需要改善效能時就從頭讀一遍。除了本文已談過的部分,我的清單上還有這幾項。

盡可能預先編譯

部分原生 XML 資料庫能預先編譯或分析 XQuery。對於在伺服器上頻繁執行的程式碼,若能確保每次執行都不必重新分析或編譯,效能提升會非常明顯。

針對索引撰寫查詢

許多情況下,原生 XML 資料庫能直接從索引計算 XQuery 或 XPath 表達式,完全不必取回文件。能寫成這種查詢就該盡量寫。找出資料庫的相關選項或搜尋函式選項,讓查詢直接從索引取結果並跳過任何形式的有效性過濾。

但這也有代價:若你搜尋的節點不是頂層節點(或片段根),就必須特別小心,因為結果可能包含那些在完整過取下不會出現的節點。事先想清楚這點,能省下不少除錯時間。

考慮 XQuery 擴充功能

多數原生 XML 資料庫提供高效能的 XQuery 擴充。偏離標準 XQuery 會讓應用更依賴特定產品,但在實際與正式環境中處理大量資料時,效能擴充的價值值得認真評估——抽象化是有代價的。

理解森林、樹木與合併

部分原生 XML 資料庫以二進位格式把資料存成「森林」(目錄),森林中又含「樹木」(檔案)。新記錄通常寫入新樹木,系統或維護人員會定期合併樹木以維持效能——森林中的樹木越少,查詢回應越快。但森林也不能無限膨脹,優化時應該先確認森林的最佳大小與樹木的最佳數量。

要注意的是,資料載入會觸發合併,而合併可能拖慢接近吞吐量上限的系統。若有可能,把資料載入與合併安排在系統負載最低的時段。相較於合併,載入本身對效能的影響小得多;如果載入需要很長時間,可以考慮在高峰期暫時停用自動合併。

結語

原生 XML 資料庫目前驅動的站台,支援著內含數千萬筆記錄的複雜搜尋。對某些應用而言,在適當情境下,這些資料庫能讓採用它們的公司相對那些較慢的競爭者取得明顯優勢。但正如其他資料庫技術一樣,回報最大的往往是那些真正懂得如何優化系統、以提升效率與回應能力的團隊。

名詞對照:RAM(隨機存取記憶體)、RSS(簡易新聞聚合)、XML(可擴充標記語言)、XSLT(可擴充樣式表語言轉換)。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved