DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
搜索引擎系統預處理:網頁淨化與元數據提取
編輯:SEO優化集錦     

網頁淨化與消重,是大規模搜索引擎系統預處理環節的重要組成部分。

網頁淨化(noise reduction):識別並清除網頁內的噪聲內容(如廣告、版權信息等),並提取網頁主題以及與主題相關的內容。

網頁消重(replicas or near-replicas detection):去除所搜集網頁集合中主題內容重複的網頁。

在主題搜索領域,大量的廣告、導航條等噪聲內容會導致主題漂移(topic drift)。這說明傳統主題搜索算法中以網頁為粒度構造的web圖不夠准確,必須深入到網頁內部、縮小處理單元的粒度,才能提高內容分析的准確性。Chakrabarti等人(2001)提出了一套解決方法:先將網頁表示為一棵DOM樹結構,找到與主題一致性較高的子樹,再對這些子樹做特別處理,從而提高主題提煉的效果。

在web信息檢索領域,檢索結果的相關性和檢索速度,是評價一個檢索系統的兩大指標。若不去除原始網頁中的噪聲內容,檢索系統必然對噪聲也建立索引,導致僅僅因為查詢詞出現在某頁的噪聲內容中,就把該頁作為結果返回,而網頁的主題內容可能與查詢詞完全無關。可見,噪聲內容不僅使索引結構規模變大,還會降低檢索系統的准確性。針對這一問題,Lin等人(2002)提出了一個去噪方法:先依據標籤構造網頁的標籤樹,把網頁規劃為相互嵌套的內容塊;然後對於用同一模塊做出的網頁集,找出在該網頁中多次出現的內容作為冗餘,而在網頁集中出現次數較少的內容塊即為有效信息。實驗證明該方法有效,但它必須局限於同一個模版的網頁集,而web上的網頁模版不計其數,顯然不夠通用。

在網頁分類領域,由於噪聲內容與主題無關,訓練集中的噪聲會導致各類別的特征不夠明顯,待分類網頁中的噪聲則會導致該頁類別不明顯,從而影響自動分類效果。Yang(1995)、Li等人(2002)提出了通過去掉噪聲內容來提高分類質量的方法。

在網頁信息提取領域,自動識別的方法必須從整個網頁中提取模式,而非只針對主題內容。因此,在淨化後的網頁上做信息提取,不僅能排除噪聲干擾、提高准確性,還能讓網頁結構簡單化、提高提取效率。

噪聲內容對基於網頁的研究工作是普遍而嚴重的。雖然各領域方法各異,但目的都是為了去除噪聲、得到真正的主題內容。

隨着web上研究與應用的發展,單純的網頁內容已不能滿足需求,網頁元數據得到越來越廣泛的應用。在web檢索領域,單純依賴關鍵詞匹配的檢索手段過於單一。合理使用內容類別、摘要等元數據信息,不僅讓用戶能從不同角度查詢,也提高了查詢的准確性。而主題搜索、個性化信息服務、數字圖書館也都強烈依賴資源的元數據。因此,准確且高效地提取必要的元數據,是web各研究領域面臨的重要問題。

在元數據與主題內容的提取方法上,可從信息提取領域(尤其是從HTML網頁中提取語義信息)的研究成果中得到啟發。針對從HTML提取語義信息,早期做法是:針對某一類具體網頁,人工提取該類網頁的內容組織模式,再由系統據此模式從同類網頁中提取相應內容(Hammer等人1997、Ashish等人1997)。對元數據和主題內容的提取也可用同樣辦法,但這些方法有一共同局限——需人工提取內容組織模式,對於內容組織繁多的web顯然不適用。因此,Wemble等人(1999)提出了5條啟發式規則,綜合利用這5條規則,系統便可自動發現網頁中各主題信息塊(chunk)的邊界。Yang等人(2001)則提出了一種基於視覺相似性來自動分析網頁語義結構的方法:先比較HTML網頁內容的視覺相似性,再用一個模式發現算法確定這些視覺相似內容最可能的組織模式,最後按該模式重新組合內容。

HTML_DocView模型:包括網頁識別、網頁類型、內容類別、標題、關鍵詞、摘要、正文、相關鏈接等要素。其中正文和相關鏈接屬於網頁的內容數據,其餘6項則屬於網頁的元數據。

網頁類型:根據內容表現形式劃分,一般分為三類——主題網頁(topic)、Hub網頁(hub)、圖片網頁(pic)。

內容類別:從語義上對網頁內容進行分類,是計算機獲取網頁語義信息的直接手段。

標題、關鍵詞、摘要:是概括描述web文檔內容的重要元數據。

正文:是原始網頁中真正概括描述主題的部分。

來源:草根網(www.20ju.com)——互聯網界的讀者文摘。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved