需要從網頁萃取資訊時,最惱人的往往不是解析本身,而是那些「瀏覽器看得懂、解析器看不懂」的 HTML——沒閉合的標籤、放錯位置的嵌套、缺引號的屬性。理想的做法是先把它整理成標準的 XML,後續就能安心用 DOM 技術處理。
我試過 JTidy、NekoHTML、HtmlParser、Jericho 幾套現成方案,最後還是回到 JTidy。原因很單純:它除了解析,還自帶語法檢查器與標籤補償器,能主動修復各種凌亂的 HTML,讓輸出符合 XHTML 標準,而不是遇到錯誤就放棄。
值得留意的是,當時的 r8 還只是 snapshot(nightly build),而前一版 r7 已經是四年前的事了,專案推進得相當緩慢。參與者太少、或者功能已被認為足夠成熟,大概都是原因。選用這類維護不活潑的套件時,心裡該有這個底。
r8 相對 r7 調整了不少參數設定方式,其中最有感的是字元編碼的處理。現在用 setInputEncoding() 與 setOutputEncoding() 分別指定輸入與輸出的編碼,且接受任何合法的 Java 編碼名稱,比舊版只能從固定選項挑要靈活太多。
整體解析品質不錯。有些邊角仍需對輸出檔做少許手工調整,或再補一段程式處理,但已算不上大問題。
<br /> 之前插入空行。定義輸入輸出串流,呼叫 tidy.parse() 就完成了:
BufferedInputStream in;
FileOutputStream out;
Tidy tidy = new Tidy();
tidy.setConfigurationFromFile(configFileName); // 設定檔寫入上述參數
try {
in = new BufferedInputStream(new FileInputStream(srcFileName));
out = new FileOutputStream(outFileName);
tidy.parse(in, out);
} catch (IOException e) {
System.out.println(e);
}
把常用的參數組合存成一份設定檔,用 setConfigurationFromFile() 一次載入,比在程式碼裡逐行呼叫清楚得多,也方便不同專案共用同一套整理規則。
另外別忘了掛 setMessageListener()。JTidy 在修復 HTML 的過程中會產生大量警告,這些訊息往往正好指出原網頁的結構問題所在;把它導進自己的日誌系統,後續要調整解析規則時就有依據可循。
最後提醒一句:整理成 XML 只是把資料變得可解析,不代表資料本身可信。從外部網頁萃取的內容若要顯示或寫入資料庫,仍應經過適當的轉義與驗證。