在 Java 應用開發的日常工作中,中文的處理與顯示幾乎是無可迴避的課題。屏幕上突然冒出的一大片亂碼,顯然不是任何開發者願意看到的結果。那麼,如何才能讓中文準確地呈現出來呢?Java 語言默認採用 UNICODE 編碼,而我們日常打交道的文件與數據庫,卻大多建立在 GB2312、BIG5 等編碼體系之上。如何恰當選擇中文編碼方式,並正確完成中文的編碼轉換,正是本文想要探討的核心問題。接下來,我將從中文編碼的基本常識切入,結合具體的 Java 編程實例,逐一剖析這兩個問題,並給出可行的解決方案。
如今,Java 編程語言早已廣泛活躍於互聯網世界。其實早在 Sun 公司設計 Java 之初,就已經把對非英文字符的支持納入了考量。Sun 發布的 Java 運行環境(JRE)分為英文版與國際版,然而唯有國際版才能真正支援非英文字符。不過在實際應用中,Java 對中文的支持並不如官方規範所宣稱的那樣完美無缺——畢竟中文字符集並不止一套,而不同操作系統對中文的支援程度也參差不齊,於是種種與中文編碼相關的難題便時常在開發過程中困擾著我們。網上關於這類問題的解答雖然不少,卻往往零散瑣碎,難以真正滿足大家迫切想要徹底解決問題的心願,系統性的研究更是鳳毛麟角。本文正是希望從中文編碼常識出發,對 Java 中文問題做一次條理化的梳理,希望能為讀者提供一些切實的幫助。
中文編碼的基本常識
眾所周知,英文字符通常只需一個字節即可表示,最常用的編碼方式是 ASCII。但一個字節最多只能區分 256 個字符,而漢字成千上萬,因此現今普遍採用雙字節來表示漢字。為了能與英文字符區分開來,這兩個字節的最高位都必須為 1,如此一來,雙字節最多便可表示 64K 個字符。我們經常接觸到的編碼方式有 GB2312、BIG5、UNICODE 等。關於各類編碼方式的細節,有興趣的讀者不妨自行查閱相關資料,這裡僅就與我們關係最為密切的 GB2312 和 UNICODE 略作說明。
GB2312 碼,即中華人民共和國國家標準漢字信息交換用編碼,是由國家標準總局發布、通行於中國大陸及新加坡地區的簡化漢字編碼,簡稱國標碼。在它的兩個字節中,第一個字節(高字節)的值等於區號加 32(20H),第二個字節(低字節)的值等於位號加 32(20H),正是用這兩個值共同確定一個漢字的編碼。UNICODE 碼則是由微軟提出、用以解決多國字符問題的多字節等長編碼,它對英文字符採取在前面補「0」字節的策略,从而实现等長兼容。例如「A」的 ASCII 碼為 0x41,其 UNICODE 編碼則為 0x00、0x41。借助專門的工具,各種編碼之間都能相互轉換。
對 Java 中文問題的初步認識
當我們基於 Java 進行應用開發時,處理中文是無法迴避的環節。Java 默認使用 UNICODE 編碼,而我們常用的數據庫與文件卻多基於 GB2312 編碼,於是這樣的尷尬場景屢屢出現:用瀏覽器打開基於 JSP 的網站看到的是亂碼,打開文件看到的也是亂碼,被 Java 修改過的數據庫內容一旦挪到別的場合使用,就再也無法正確提供信息。
其中,sEnglish 的長度為 5,sChinese 的長度為 4,而 s 默認的長度是 14。對於 sEnglish 而言,Java 中的各個類都支持得非常出色,一定能正確顯示;但對於 sChinese 和 s 來說,儘管 Java Soft 曾聲明 Java 基本類已充分考慮多國字符支持(默認 UNICODE 編碼),一旦操作系統的默認編碼並非 UNICODE,而是國標碼之類的方案,問題便隨之而來。從 Java 源代碼到最終得到正確結果,中間要經歷「Java 源代碼 → Java 字節碼 → 虛擬機 → 操作系統 → 顯示設備」這樣一條鏈路。在這條鏈路的每一個環節,我們都必須正確處理中文的編碼,才能保證最終的顯示結果無誤。
先看「Java 源代碼 → Java 字節碼」這一環。標準的 Java 編譯器 javac 使用的是系統默認字符集,例如在中文 Windows 上它是 GBK,而在 Linux 上則是 ISO-8859-1。正因如此,大家才會發現:在 Linux 上編譯時,源文件裡的中文字符全都變了樣。解決辦法是在編譯時顯式添加 encoding 參數,這樣才能擺脫對平台的依賴,用法如下:
再看「Java 字節碼 → 虛擬機 → 操作系統」這一環。Java 運行環境(JRE)分英文版和國際版,但只有國際版才支援非英文字符。Java 開發工具包(JDK)固然支持多國字符,可並非所有用戶都安裝了 JDK。於是許多操作系統與應用軟件為求更好地支持 Java,乾脆內嵌了 JRE 的國際版本,為自身支持多國字符創造了便利。
最後是「操作系統 → 顯示設備」這一環。對於中文而言,操作系統本身必須能夠支持並顯示它。英文版操作系統若不搭配專門的應用軟件,是斷然無法顯示中文的。
此外還有一個不容忽視的問題,就是在 Java 編程過程中對中文字符進行正確的編碼轉換。舉例來說,向網頁輸出中文字符串時,無論你採用
還是 <%=string%>,都必須完成 UNICODE 到 GBK 的轉換,無論是手動還是自動。在 JSP 1.0 中,可以定義輸出字符集,從而在輸出環節自動完成內碼轉換,用法是:
然而在一些較早的 JSP 版本中(例如 JSP 0.92)並未提供對輸出字符集的支持,這時就需要手動進行編碼輸出了,方法有很多,最常用的一種是:
其中 getBytes 方法負責把中文字符以「ISO-8859-1」編碼方式轉化成字節數組,而「GBK」則是目標編碼方式。我們從以 ISO-8859-1 方式編碼的數據庫中讀出中文字符串 s1,經過上述轉換後,在支持 GBK 字符集的操作系統和應用軟件中,便能正確顯示出中文字符串 s2。
本文由設計家園 收集整理
Java 中文問題的表層分析與處理
背景 開發環境 JDK1.15 Vcafe2.0 JPadPro 服務器端 NT IIS Sybase System Jconnect(JDBC) 客戶端 IE5.0 Pwin98
.CLASS 文件存放在服務器端,由客戶端的瀏覽器運行 APPLET,而 APPLET 僅起到調入 FRAME 類等主程序的作用,界面則包含 Textfield、TextArea、List、Choice 等組件。
I. 用 JDBC 執行 SELECT 語句從服務器端讀取(中文)數據後,通過 APPEND 方法把數據添加到 TextArea(TA),卻無法正確顯示;然而添加到 List 中時,大部分漢字反而能正確顯示。
將數據先按「ISO-8859-1」編碼方式轉化為字節數組,再按系統缺省編碼方式(Default Character Encoding)轉化為 STRING,即可在 TA 和 List 中都能正確顯示。
程序段如下:
若在轉換字符串時不採用系統默認編碼方式,而是直接指定「GBK」或「GB2312」,那麼在 A、B 兩種情況下,從數據庫取數據都不會出問題。
II. 寫入數據時的處理方式與「取中文」正好相反:先將 SQL 語句按系統缺省編碼方式轉化為字節數組,再按「ISO-8859-1」編碼方式轉化為 STRING,最後送去執行,中文信息便能正確寫入數據庫。
程序段如下:
問題在於:如果客戶機上存在 CLASSPATH 指向 JDK 的 CLASSES.ZIP(稱之為 A 情況),上述程序代碼可正確執行;但倘若客戶機只有瀏覽器,既沒有 JDK 也沒有 CLASSPATH(稱之為 B 情況),中文便無法正確轉換。
我們的分析如下:
1. 經過測試,在 A 情況下,程序運行時系統的缺省編碼方式為 GBK 或 GB2312。而在 B 情況下,程序啟動時瀏覽器的 JAVA 控制台會出現如下錯誤信息:
隨後系統的缺省編碼方式便退化為「8859-1」。
2. 若在轉換字符串時不採用系統缺省編碼方式,而是直接指定「GBK」或「GB2312」,則 A 情況下程序仍能正常運行,而 B 情況下系統卻會拋出錯誤:
3. 我們在客戶機上把 JDK 的 CLASSES.ZIP 解壓後放到另一個目錄,並讓 CLASSPATH 只包含該目錄。接著一邊逐步刪除目錄中的 .CLASS 文件,一邊運行測試程序,最終發現:在一千多個 CLASS 文件中,真正必不可少的只有一個,即:
把該文件拷到服務器端與其他類放在一起,並在程序開頭 IMPORT 它,B 情況下的程序依然無法正常運行。
4. 在 A 情況下,若從 CLASSPATH 中去掉 sun.io.CharToByteDoubleByte.class,則程序運行時測得的默認編碼方式為「8859-1」,否則為「GBK」或「GB2312」。
所幸,如果 JDK 版本在 1.2 以上,B 情況下遇到的上述問題便得到了很好的解決,測試步驟與前述相同,有興趣的讀者不妨親自嘗試一番。
Java 中文問題的根源分析與解決
在簡體中文 MS Windows 98 + JDK 1.3 環境下,可以通過 System.getProperties() 獲取 Java 運行環境的一些基本屬性,下面的 PoorChinese 類便能幫我們拿到這些屬性。
PoorChinese 類的源代碼:
執行 java PoorChinese 後,我們會得到:系統變量 file.encoding 的值為 GBK,user.language 的值為 zh,user.region 的值為 CN。正是這些系統變量的取值,共同決定了系統默認的編碼方式為 GBK。
在上述系統中,下面的代碼能把 GB2312 文件轉換成 Big5 文件,有助於我們理解 Java 中漢字編碼的轉換機制:
其編碼轉換過程為:
執行 java gb2big5 gb.txt big5.txt,如果 gb.txt 的內容是「今天星期三」,則得到的 big5.txt 中的字符能夠正確顯示;但若 gb.txt 的內容是「情人節快樂」,則 big5.txt 中對應「節」和「樂」的字符都變成了符號「?」(0x3F)。由此可見,sun.io.ByteToCharGB2312 與 sun.io.CharToByteBig5 這兩個基本類本身並沒有編好。
正如上例所示,Java 的基本類也可能存在缺陷。由於國際化工作並非在國內完成,這些基本類在發布之前未經嚴格測試,因此對中文字符的支持並不像 Java Soft 所宣稱的那樣完美。不久前,一位從事技術工作的朋友發信告訴我,他終於找到了 Java Servlet 中文問題的根源。整整兩周,他都被 Java Servlet 的中文問題所困擾——每當面對一個含有中文字符的字符串,都必須強制轉換才能得到正確結果(這幾乎被大家公認是唯一的解法)。
後來,他實在不想再如此安分下去,因為這種瑣碎的事情本不該由高級程序員來做。於是他翻出 Servlet 解碼部分的源代碼仔細分析,因為他懷疑問題就出在解碼這一環。經過四個小時的努力,他終於揪出了問題的根源:他的懷疑果然沒錯——Servlet 的解碼部分完全沒有考慮雙字節,而是直接把 %XX 當作一個字符處理。(原來連 Java Soft 也會犯這樣低級的錯誤!)
如果你對這個問題頗感興趣,或者正遭遇同樣的煩惱,不妨按他的步驟對 Servlet.jar 進行修改:
千萬別忘了:編譯之後要放回 Servlet.jar 裡面。
關於 Java 中文問題的總結
Java 編程語言成長於網絡世界,這從根本上要求它能對多國字符提供良好的支持。正是因為適應了計算網絡化的需求,Java 才得以在網絡世界迅速崛起,並奠定了堅實的基礎。Java 的締造者 Java Soft 早已意識到多國字符支持的重要性,只是現有的解決方案仍存有不少缺陷,需要我們在一定程度上施加一些補償性的措施。與此同時,世界標準化組織也在努力把人類所有文字統一納入同一種編碼之中,其中一種方案便是 ISO10646,它用四個字節來表示一個字符。當然,在這套方案被廣泛採用之前,我們仍然期望 Java Soft 能夠嚴格測試自己的產品,為廣大用戶帶來更多便利。
最後附上的一個函數,可用於處理從數據庫和網絡中取出的中文亂碼:入參是有問題的字符串,出參則是問題已被解決的字符串。