最近項目有個需求要用js計算一串字符串寫入到localStorage裡所占的內存,眾所周知的,js是使用Unicode編碼的。而Unicode的實現有N種,其中用的最多的就是UTF-8和UTF-16。因此本文只對這兩種編碼進行討論。
下面這個定義摘自維基百科(http://zh.wikipedia.org/zh-cn/UTF-8),做了部分刪減。
UTF-8(8-bit Unicode Transformation Format)是一種針對Unicode的可變長度字符編碼,可以表示Unicode標准中的任何字符,且其編碼中的第一個字節仍與ASCII相容,使用一至四個字節為每個字符編碼
其編碼規則如下:
字符代碼在000000 – 00007F之間的,用一個字節編碼;
000080 – 0007FF之間的字符用兩個字節;
000800 – 00D7FF 和 00E000 – 00FFFF之間的用三個字節,注: Unicode在范圍 D800-DFFF 中不存在任何字符;
010000 – 10FFFF之間的用4個字節。
而UTF-16 則是定長的字符編碼,大部分字符使用兩個字節編碼,字符代碼超出 65535 的使用四個字節,如下:
000000 – 00FFFF 兩個字節;
010000 – 10FFFF 四個字節。
一開始認為既然頁面用的是UTF-8編碼,那麼存入localStorage的字符串,應該也是用UTF-8編碼的。但後來測試發現,明明計算出的size是不到5MB,存入localStorage卻拋異常了。想了想,頁面的編碼是可以改的。如果localStorage按照頁面的編碼存字符串,不就亂套了?浏覽器應該都是使用UTF-16編碼的。用UTF-16編碼計算出5MB的字符串,果然順利寫進去了。超過則失敗了。
好了,附上代碼實現。計算規則就是上面寫的,為了計算速度,把兩個for循環分開寫了。
/**
* 計算字符串所占的內存字節數,默認使用UTF-8的編碼方式計算,也可制定為UTF-16
* UTF-8 是一種可變長度的 Unicode 編碼格式,使用一至四個字節為每個字符編碼
*
* 000000 - 00007F(128個代碼) 0zzzzzzz(00-7F) 一個字節
* 000080 - 0007FF(1920個代碼) 110yyyyy(C0-DF) 10zzzzzz(80-BF) 兩個字節
* 000800 - 00D7FF
00E000 - 00FFFF(61440個代碼) 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 三個字節
* 010000 - 10FFFF(1048576個代碼) 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 四個字節
*
* 注: Unicode在范圍 D800-DFFF 中不存在任何字符
* {@link http://zh.wikipedia.org/wiki/UTF-8}
*
* UTF-16 大部分使用兩個字節編碼,編碼超出 65535 的使用四個字節
* 000000 - 00FFFF 兩個字節
* 010000 - 10FFFF 四個字節
*
* {@link http://zh.wikipedia.org/wiki/UTF-16}
* @param {String} str
* @param {String} charset utf-8, utf-16
* @return {Number}
*/
var sizeof = function(str, charset){
var total = 0,
charCode,
i,
len;
charset = charset ? charset.toLowerCase() : '';
if(charset === 'utf-16' || charset === 'utf16'){
for(i = 0, len = str.length; i < len; i++){
charCode = str.charCodeAt(i);
if(charCode <= 0xffff){
total += 2;
}else{
total += 4;
}
}
}else{
for(i = 0, len = str.length; i < len; i++){
charCode = str.charCodeAt(i);
if(charCode <= 0x007f) {
total += 1;
}else if(charCode <= 0x07ff){
total += 2;
}else if(charCode <= 0xffff){
total += 3;
}else{
total += 4;
}
}
}
return total;
}