最近接了一個專案,需要把申報檔案存成 XML 格式,編碼問題著實讓我頭疼了一會兒。最後我決定全部統一成 UTF-8。下面把各語言環節的處理方式記錄下來,以 DOM 進行解析——因為它最簡單。
客戶端先用 VB 編輯表單並產生 XML 檔。這裡使用 MSXML 4.0,若不特別設定編碼,存檔時預設就是 UTF-8:
Set dom = CreateDOM
Set node = dom.createProcessingInstruction("xml", "version='1.0'")
dom.appendChild node
Set node = Nothing
客戶把 XML 透過 Web 上傳到伺服器。PHP 的 XMLDOM 預設只支援 UTF-8,因此上傳後可直接解析:
if (!$dom = domXML_open_mem($content)) {
$t->assign('msg', "檔案解析錯誤!");
$t->render('noavailable.html', PAGE_TITLE, 'wrap.html');
exit;
}
接著要把檔案存進資料庫。由於資料庫用的是 MS SQL Server,它並不支援 UTF-8 的資料結構,於是我把整個檔案以二進位方式存入。這一步讓我折騰了半天——如果是 MySQL,不做任何轉換就能直接存,MSSQL 卻不行。原因在于 MSSQL 解析器嚴格區分「二進位常數」與「字元常數」:二進位資料必須以不加引號的十六進位位元組串表示。也就是說,要把二進位欄位 col 設為位元組 0x12、0x65、0x35,得寫成 col = 0x126535。
具體操作如下:
// 讀取上傳的檔案
$original = $_FILES['content']['name'];
if (!empty($original)) {
if ($_FILES['content']['type'] == "text/xml") {
$filename = $_FILES['content']['tmp_name'];
$handle = fopen($filename, "rb");
$originalcontent = fread($handle, filesize($filename));
fclose($handle);
}
} // end if(!empty($original))
$originalcontent = unpack("H*hex", $originalcontent); // 這步是關鍵
$db->query("insert into ".TBL_SB_ONLINE_USER." (sb_id, user_id, username, sbmc, content, created_date) values ("
.$newid.", "
.$u.", "
.$db->quote(stripslashes($name)).", "
.$db->quote(stripslashes($sbmc)).", 0x"
.$originalcontent['hex'].", " // 注意這裡,前面有 0x
."'".$now."')");
用戶上傳後也能在線上編輯,這時需要把檔案從資料庫讀出、還原成 UTF-8 再解析。雖然寫入時用了 unpack,讀出時卻不必做反向還原:
$sb = $db->getRow('select sbmc, content from '.TBL_SB_ONLINE_USER." where sb_id = $sb_id");
$originalcontent = $sb['content'];
if (!$dom = domXML_open_mem($originalcontent)) {
$t->assign('msg', "檔案解析錯誤!");
$t->render('noavailable.html', PAGE_TITLE, 'wrap.html', true);
exit;
}
$context = XPath_new_context($dom);
$xpath = $context->xpath_eval("//material/xm");
$t->assign('xm', iconv("UTF-8","GBK",$xpath->nodeset[0]->get_content()));
要留意的是,MSSQL 除了微軟 OLE DB 提供者與 ODBC 驅動會自動把 @@TEXTSIZE 設為最大值 2 GB 外,其餘情況預設僅 4096 位元組(4 KB)。所以用 PHP 存取時,務必把 mssql.textlimit 與 mssql.textsize 都設為 2147483647。
後台若用 VB 解析,需要以下程式碼把 byte() 轉成 UTF-8 字串:
Public Declare Function MultiByteToWideChar Lib "kernel32" (ByVal CodePage As Long, ByVal dwFlags As Long, ByVal lpMultiByteStr As Long, _
ByVal cchMultiByte As Long, ByVal lpWideCharStr As Long, ByVal cchWideChar As Long) As Long
Public Const CP_UTF8 = 65001
Public Function UTF8_Decode(bUTF8() As Byte) As String
Dim lRet As Long
Dim lLen As Long
Dim lBufferSize As Long
Dim sBuffer As String
Dim bBuffer() As Byte
lLen = UBound(bUTF8) + 1
If lLen = 0 Then Exit Function
lBufferSize = lLen * 2
sBuffer = String$(lBufferSize, Chr(0))
lRet = MultiByteToWideChar(CP_UTF8, 0, VarPtr(bUTF8(0)), lLen, StrPtr(sBuffer), lBufferSize)
If lRet <> 0 Then
sBuffer = Left(sBuffer, lRet)
End If
UTF8_Decode = sBuffer
End Function
讀資料庫的具體寫法:
Dim varcontent() As Byte
varfilesize = mrc.Fields("content").ActualSize
varcontent = mrc.Fields("content").GetChunk(varfilesize)
content = UTF8_Decode(varcontent)
XMLDoc.async = False
XMLDoc.resolveExternals = False
xmlDoc.loadXML (content)
If (XMLDoc.parseError.errorCode <> 0) Then
Dim myErr
Set myErr = XMLDoc.parseError
MsgBox ("發生錯誤 " & myErr.reason)
Else
XMLDoc.setProperty "SelectionLanguage", "XPath"
到了 Java 這一端反而最省事:把讀出的資料轉成 byte[],再轉成 UTF-8 字串即可。
最後要說的是,PHP 確實是相當強大的腳本語言。若開發過程中遇到連 Google 都不容易搜到的難題,不妨直接翻 PHP.net 的線上文檔——那裡通常有許多熱心人分享的使用心得,非常管用。