DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> XML學習教程 >> XML詳解
XML 資料庫與 db4o 的實測對比:十萬筆寫入的效能現場
編輯:XML詳解     

今天抽空研究了一下這個資料庫,也把它完整的原始碼抓下來了。還沒細看,但架構給人的印象相當不錯。下午翻著翻著,有個地方讓我特別有感——我先不多做評論,只能說第一印象是眼前一亮。

db4o 是一個物件導向資料庫。這個概念並不新,但我覺得概念新不新其實不重要;重要的是 db4o 真的被做出來了,而且做得不錯,這本身就值得欣賞。我自己始終相信,實踐與時間才是檢驗真理的唯一標準,敢動手比空想有用。

XML 存資料,效能會不會很慢?

我猜很多朋友關心的問題是同一個:如果用 XML 存資料,效能會不會很慢?我在上一篇的留言裡反覆強調過兩點:

  1. 依我的經驗,讀取本地磁碟檔案通常比讀取真正的關聯式資料庫更快。
  2. XML 檔案本身不是效能瓶頸的原因。真的慢了,通常意味著設計需要改進。何況 XML 有成熟的程式介面可用,這反倒是它相對其他檔案格式的優勢。你可以想像一下:如果要自己解析一個平面檔案(例如 ini)或 CSV,那才真的可能更慢。

對照 db4o 官方教材(寫得不錯,先給個讚)做了一些練習後,我發現它的資料庫只有一個檔案,是二進位格式;而即使在大容量寫入與讀取的情況下,效能表現也很不錯。這正好說明了演算法的重要性——要在單一檔案中抽出特定片段,本身就是相當不容易的工程。二進位讀寫這條路,向來毀譽參半。

試想一個情境:檔案已經 1GB,而你要在中間某個位置寫入另一個物件(例如修改)。所有內容都在同一個檔案裡,這件事會變得非常棘手。坦白說,這正是我決定開發 XML 資料庫的根本原因。如果最後仍然是靠一個或極少數幾個二進位檔案來存全部資料,那跟傳統關聯式資料庫的差別其實不大,而且再怎麼調校,總會撞到天花板。

我當然無從得知 db4o 團隊當時的取捨考量,也許在那個時間點,這已經是相當好的方案。

測試方法

為了把問題說清楚,我寫了一個簡單的示範程式,比較 db4o 與 XML 資料庫在大容量寫入與讀取上的表現。兩邊各插入 100,000(十萬)個物件,然後各自讀取約 35,000(三萬五千)個物件。

第一部分:業務實體類(摘自 db4o 文件)

/// <summary> /// 這是一個很簡單的類型,摘自 db4o 的官方案例 /// </summary> public class Pilot { public Pilot() { } string _name; int _points; public Pilot(string name, int points) { _name = name; _points = points; } public string Name { get { return _name; } set { _name = value; } } public int Points { get { return _points; } set { _points = value; } } public void AddPoints(int points) { _points += points; } override public string ToString() { return string.Format("{0}/{1}", _name, _points); } }

第二部分:測試程式碼

class Program { static void Main(string[] args) { // 這個測試程式主要用來比較與 db4o 這個資料庫在操作及效能上的差別 // 建立 db4o 資料庫,並插入 100000(十萬個)物件 Console.WriteLine("db4o 資料庫測試結果"); IObjectContainer db = Db4oFactory.OpenFile("test.yps"); try { Stopwatch watch = new Stopwatch(); watch.Start(); for (int i = 0; i < 100000; i++) { Pilot pilot1 = new Pilot("Michael Schumacher", i); db.Store(pilot1); } watch.Stop(); Console.WriteLine("\t插入 100000 個物件,耗時:{0} 秒", watch.ElapsedMilliseconds / 1000); watch.Start(); var query = from p in db.Query<Pilot>() where p.Points % 3 == 0 select p; Console.WriteLine("\t讀取 {0} 個物件", query.ToArray().Count()); watch.Stop(); Console.WriteLine("\t讀取耗時:{0} 秒", watch.ElapsedMilliseconds / 1000); } finally { db.Close(); } Console.WriteLine("XMLDatabase 測試結果"); // 建立 XMLDatabase,並插入 100000(十萬個)物件 using (XDatabase xdb = XDatabase.CreateInstance("Test", "E:\\Temp")) { try { Stopwatch watch = new Stopwatch(); watch.Start(); XTable<Pilot> table = xdb.Create<Pilot>("Pilots", new[] { "Name" }); for (int i = 0; i < 100000; i++) { Pilot pilot1 = new Pilot("Ares Chen", i); table.Insert(pilot1); } xdb.SubmitChanges(); watch.Stop(); Console.WriteLine("\t插入 100000 個物件,耗時:{0} 秒", watch.ElapsedMilliseconds / 1000); watch.Start(); var query = from p in table.Select() where p.Points % 3 == 0 select p; Console.WriteLine("\t讀取 {0} 個物件", query.ToArray().Count()); watch.Stop(); Console.WriteLine("\t讀取耗時:{0} 秒", watch.ElapsedMilliseconds / 1000); } finally { } } Console.Read(); } }

第三部分:測試結果

把執行順序顛倒再跑一次,結果如下:

檔案層面的比較

XML 資料庫的設計是每張表各自存放一個 XML 檔案(我還在考慮分散式存放的做法,例如讓一張表對應 N 個 XML 檔案)。寫入這十萬個物件之後,大約是 4.08 MB。

而且這個檔案本身就是一個很直觀的 XML 文件:

db4o 則是把所有物件放進同一個資料庫檔案,檔名叫什麼都無所謂。

檔案大小約 9.07 MB。

這是典型的二進位檔案,硬要打開來看,大致長這樣:

我的觀察

【註】以上比較純屬技術研究性質。前面我已經說過,db4o 用單一二進位檔案做到這樣的效能,已經相當了不起,它的演算法應該很不錯。我不確定它是否支援多檔案——看文件說單一資料庫最大支援 250 GB(這個數字有點嚇人,但我斷定不會有人真的這樣用)。如果 250 GB 的資料全塞在一個檔案裡,那實在太可怕了。

最後要說的是,用一個檔案存全部資料並非一無是處。它最大的好處就是備份與管理方便——反正只有一個檔案。而正在開發的 XML 資料庫在這方面吃虧:我的構想是用不同目錄分門別類,Tables 放所有表資料、Schemas 放所有結構定義、Blobs 放大物件(例如圖片),另外用一個 rels 目錄記錄這些檔案之間的關係。這樣一來就會帶來風險,因為檔案數量變多了。這一點還需要多想想。

XML 資料庫的開發仍在進行中,歡迎留言給我建議和想法。由於白天還有其他工作,回覆大概得等到晚上。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved