面向 Web 的資料探勘
Web 上/data 蘊藏海量資訊,如何對這些資料進行複雜應用,是今日資料庫技術的研究熱點。資料探勘(Data Mining)就是從大量資料中發現隱含規律,解決資料的應用品質問題——充分利用有用資料、剔除虛假無用資料。相對於傳統資料庫中結構性很強的「完全結構化資料」,Web 資料最大的特點是「半結構化」,因此面向 Web 的資料探勘比單一資料倉儲的探勘複雜得多。
1. 異構資料庫環境:從資料庫研究角度看,整個 Web 就是一個更大、更複雜的資料庫。每個站點都是一個資料源,彼此結構各異,構成巨大的異構環境。要進行探勘,就必須先解決站點間異構資料的整合問題,為使用者提供統一視圖,並解決有效的資料查詢問題。
2. 半結構化的資料結構:傳統資料庫有明確的資料模型,而 Web 資料沒有統一模型,各站點獨立設計,資料本身具自述性與動態可變性。因此 Web 資料具有一定的結構性,卻因自述層次的存在而成為「非完全結構化」的半結構化資料。
3. 解決半結構化資料源問題:Web 資料探勘的首要任務,是解決半結構化資料源的模型與查詢整合問題。關鍵在於找到一個合適的半結構化資料模型,並具備自動抽取半結構化模型的技術。
以 XML 為基礎的新一代 WWW 環境直接面向 Web 資料,既能兼容既有應用,又能更好地實現信息共享與交換。XML 可視為一種半結構化資料模型,能輕易把 XML 文件描述與關聯資料庫的屬性一一對應,實施精準查詢與模型抽取。
XML 的產生與發展
XML(eXtensible Markup Language)由 W3C 設計,是 SGML 的一個重要分支,屬於「中介標記語言」,提供描述結構化資料的格式。它能讓電腦通信把 Internet 的功能從單純的資訊傳遞,擴大到人類多樣的活動中。XML 解決了 HTML 無法解決的兩大問題:一是網路發展快而接入速度慢,二是可用資訊多但難以找到所需部分。由於 XML 能增加結構與語義資訊,可讓電腦與伺服器即時處理多種資訊,還能大幅減少網路流量。
XML 的主要特點
(1)簡單:整個規範精心設計、簡單明瞭,能創建任何人都能讀寫的「世界語」,這稱為統一性功能。
(2)開放:XML 是經過驗證的標準技術並針對網路最佳化,眾多業界頂尖公司與 W3C 工作小組並肩合作,確保跨系統、跨瀏覽器的互通性。
(3)高效且可擴充:支援文件片段複用,使用者可自訂並共享標籤。一個 XML 元件可宣告零售價、營業稅、書名、數量等任意資料元素,並透過 DTD 驗證資料有效性。
(4)國際化:標準國際化且支援世界大多數文字,源於其統一代碼編碼標準,能處理不同語言字元的任意組合,讓資訊得以跨國界、跨文化交換。
XML 已成為正式規範,開發者能用 XML 格式標記與交換資料。它在三層架構上為資料處理提供了良好方法:資料可從既有來源產生,並從商業規範與表現形式中分離出來,依序完成整合、發送、處理與顯示。
促進 XML 應用的,多是用標準 HTML 難以完成的 Web 應用,大致可分四類:需要在多個異質資料庫間溝通的應用;試圖把處理負載從伺服器轉到客戶端的應用;需要以不同瀏覽形式提供相同資料的應用;以及需要智能代理依個人需求裁剪資訊的應用。這些都與 Web 資料探勘息息相關。
由於 XML 資料是「自我描述」的,資料不需內部描述即可交換與處理。使用者收到 XML 後可進行本地運算,用 DOM 以腳本或程式語言處理資料,運算不必回到伺服器。同時,XML 把「顯示」與「內容」分離,透過 CSS 與 XSL 提供多元呈現,還能實現資料的「顆粒度更新」——某部分資料變化時,不必重送整份結構化資料,也不必刷新整個介面,大幅減輕伺服器負擔。
此外,XML 也應用於網路代理,讓取得的資訊可依個人需求編輯增刪。例如教育單位建立題庫時,可把試卷封裝進 XML,再透過過濾器濾掉答案後分送考生,未過濾版本則送給老師,同一份 XML 便能衍生出多種用途。
結語
面向 Web 的資料探勘是一項複雜技術,而 XML 的出現為破解難題帶來了契機。由於 XML 能輕易整合不同來源的結構化資料,使搜尋多樣的不相容資料庫成為可能。作為表示結構化資料的工業標準,XML 為組織、開發者、網站與終端使用者帶來許多便利。相信隨著 XML 成為 Web 交換資料的標準方式,面向 Web 的資料探勘將變得更加輕鬆。