最近專案有個需求,需要用 JS 計算一段字串寫入 localStorage 時所佔用的記憶體大小。眾所周知,JS 使用 Unicode 編碼,而 Unicode 的實現方式有好幾種,其中最常用的就是 UTF-8 與 UTF-16,因此本文只針對這兩種編碼進行討論。
以下定義摘錄自維基百科並做了部分刪減。
UTF-8(8-bit Unicode Transformation Format)是一種針對 Unicode 的可變長度字元編碼,能表示 Unicode 標準中的任何字元,且其編碼的第一個位元組仍與 ASCII 相容,每個字元使用一至四個位元組編碼。
其編碼規則如下:
字元碼位在 000000 – 00007F 之間的,用一個位元組編碼;
000080 – 0007FF 之間的用兩個位元組;
000800 – 00D7FF 和 00E000 – 00FFFF 之間的用三個位元組(註:Unicode 在 D800-DFFF 範圍中不存在任何字元);
010000 – 10FFFF 之間的用四個位元組。
而 UTF-16 則是定長的字元編碼,大部分字元使用兩個位元組編碼,碼位超過 65535 的使用四個位元組,如下:
000000 – 00FFFF 兩個位元組;
010000 – 10FFFF 四個位元組。
一開始我以為既然頁面用的是 UTF-8 編碼,那麼存入 localStorage 的字串應該也是 UTF-8 編碼。但後來測試發現,明明計算出的 size 不到 5MB,存入 localStorage 卻拋出異常了。仔細想想,頁面的編碼是可以更改的,如果 localStorage 依頁面編碼來存字串,不就亂套了?瀏覽器應該都是使用 UTF-16 編碼。改用 UTF-16 計算出 5MB 的字串,果然順利寫入;超過則失敗。
以下附上程式碼實現,計算規則如上所述。為了計算速度,把兩個 for 迴圈分開撰寫。
/**
* 計算字串所佔的記憶體位元組數,預設使用 UTF-8 編碼方式計算,也可指定為 UTF-16
* UTF-8 是一種可變長度的 Unicode 編碼格式,使用一至四個位元組為每個字元編碼
* 000000 - 00007F 一個位元組
* 000080 - 0007FF 兩個位元組
* 000800 - 00D7FF 00E000 - 00FFFF 三個位元組
* 010000 - 10FFFF 四個位元組
* UTF-16 大部分使用兩個位元組編碼,超出 65535 的使用四個位元組
* @param {String} str
* @param {String} charset utf-8, utf-16
* @return {Number}
*/
var sizeof = function(str, charset){
var total = 0, charCode, i, len;
charset = charset ? charset.toLowerCase() : '';
if(charset === 'utf-16' || charset === 'utf16'){
for(i = 0, len = str.length; i < len; i++){
charCode = str.charCodeAt(i);
if(charCode <= 0xffff){ total += 2; }
else{ total += 4; }
}
}else{
for(i = 0, len = str.length; i < len; i++){
charCode = str.charCodeAt(i);
if(charCode <= 0x007f) { total += 1; }
else if(charCode <= 0x07ff){ total += 2; }
else if(charCode <= 0xffff){ total += 3; }
else{ total += 4; }
}
}
return total;
}