DIV CSS 佈局教程網

Node.js Buffer 模組深入解析:從記憶體分配到位元組操作
編輯:關於JavaScript     

所謂緩衝區(Buffer),就是「臨時貯存區」——暫時存放輸入輸出資料的一段記憶體。它是 Node.js 處理二進位資料的核心基礎。

一、為什麼需要 Buffer

JavaScript 語言本身只有字串資料型別,沒有真正的二進位型別。而 Node.js 需要處理網路協議、操作資料庫、處理圖片、處理檔案上傳,這些場景中都會遇到大量二進位資料,內建的字串遠不能滿足需求。因此 Node.js 提供了一個與 String 對等的全域建構函式 Buffer。

除了讀取檔案時自動得到 Buffer 實例,也可以直接建構:

var buffer = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]);

Buffer 與字串類似,除了可用 .length 取得位元組長度,也能用 [index] 讀取指定位置的位元組:

buffer[0]; // 0x68

兩者可以互相轉換。用指定編碼把二進位轉為字串:

var str = buffer.toString("utf-8"); // hello

把字串轉為指定編碼下的二進位資料:

var buf = new Buffer("hello", "utf-8"); // <Buffer 68 65 6c 6c 6f>

二、與字串的關鍵差異:可變性

字串是唯讀的,對字串的任何修改都會產生一個新字串,原字串保持不變。

Buffer 則更像是可以做指標操作的 C 語言陣列——你可以用 [index] 直接修改某個位置的位元組。

這帶來一個容易忽略的行為:slice 方法並不是回傳一個新的 Buffer,而更像是回傳了指向原 Buffer 中間某個位置的指標。

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
   ^              ^
   |              |
  bin         bin.slice(2)

因此對 slice 回傳的 Buffer 的修改會作用於原 Buffer:

var bin = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]);
var sub = bin.slice(2);
sub[0] = 0x65;
console.log(bin); // <Buffer 68 65 65 6c 6f>  ← 原 Buffer 也被改了

如果想要拷貝一份獨立的 Buffer,必須先建立一個新的 Buffer,再用 copy 方法把資料複製過去。這類似於申請一塊新記憶體,把已有記憶體中的內容複製過來:

var bin = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]);
var dup = new Buffer(bin.length);
bin.copy(dup);
dup[0] = 0x48;
console.log(bin); // <Buffer 68 65 6c 6c 6f>
console.log(dup); // <Buffer 48 65 65 6c 6f>

總之,Buffer 把 JavaScript 的資料處理能力從字串擴展到了任意二進位資料。(註:現代寫法應使用 Buffer.from() 與 Buffer.alloc(),new Buffer() 已因安全問題被標記為不建議使用。)

三、Buffer 的結構與記憶體分配

Buffer 是一個典型的 JavaScript 與 C++ 結合模組:效能相關部分用 C++ 實作,非效能相關部分用 JavaScript 實作。

Node 在行程啟動時就把 Buffer 加裝進記憶體並放入全域物件,因此無需 require。Buffer 物件類似於陣列,其元素是 16 進位的兩位數。

關鍵的一點:Buffer 物件的記憶體分配不在 V8 的堆記憶體中,而是在 Node 的 C++ 層面申請。原因是 Buffer 通常體積較大,若放在 V8 堆中會增加垃圾回收的壓力。

為了高效使用申請來得的記憶體,Node 採用 slab 分配機制。slab 是一種動態記憶體管理機制,廣泛應用於各種 *nix 系統,有三種狀態:

  1. full:完全分配狀態。
  2. partial:部分分配狀態。
  3. empty:尚未被分配狀態。

實務上的含意是:建立多個小 Buffer 時,它們可能共用同一塊 slab,這讓配置更省資源;但反過來,某個小 Buffer 只要還被引用,整個 slab 就無法被回收。

四、編碼轉換

Buffer 物件可與字串互相轉換,支援的編碼類型:

ASCII、UTF-8、UTF-16LE / UCS-2、Base64、Binary、Hex

字串轉 Buffer

Buffer.from(str, [encoding])   // 預設 UTF-8
buf.write(string, [offset], [length], [encoding])

Buffer 轉字串

buf.toString([encoding], [start], [end])

不支援的編碼可透過 Buffer.isEncoding(encoding) 判斷。若需要更多編碼(如 GBK、Big5),有兩個常見選擇:

  • iconv-lite:純 JavaScript 實作,更輕量、效能更好,無需 C++ 到 JavaScript 的轉換。
  • iconv:呼叫 C++ 的 libiconv 庫完成。

五、拼接時的亂碼陷阱

注意 res.on('data', function (chunk) {}) 中的參數 chunk 是 Buffer 物件。直接用 + 拼接會自動轉為字串,對於寬位元組字元可能導致亂碼——因為一個多位元組的字元可能被切分到兩個 chunk 中,各自解碼時都是不完整的。

解法一:使用可讀流中的 setEncoding() 方法,讓 data 事件傳遞的不再是 Buffer 而是編碼後的字串。其內部使用了 StringDecoder 模組,會正確處理跨 chunk 的未完成字元。

stream.setEncoding('utf8');
stream.on('data', function (chunk) {
  // chunk 此時是字串,且保證不會切斷多字元
});

解法二:把 Buffer 物件暫存到陣列中,最後用 Buffer.concat() 組裝成一個大 Buffer,再統一編碼轉為字串輸出。

var chunks = [];
stream.on('data', function (chunk) { chunks.push(chunk); });
stream.on('end', function () {
  var result = Buffer.concat(chunks).toString('utf8');
});

Buffer 在檔案 I/O 與網路 I/O 中被廣泛應用,其效能舉足輕重,比普通字串拼接高出許多。

另外,檔案讀取時的 highWaterMark 設定對效能影響至關重要:設定過小可能導致系統呼叫次數過多,設定過大則增加單次記憶體佔用。

六、實測:Buffer 拼接 vs 字串拼接

var buf = new Buffer("this is text concat test !"),
    str = "this is text concat test !";

console.time("buffer concat test !");
var list = [];
var len = 100000 * buf.length;
for (var i = 0; i < 100000; i++) {
  list.push(buf);
  len += buf.length;
}
var s1 = Buffer.concat(list, len).toString();
console.timeEnd("buffer concat test !");

console.time("string concat test !");
var list2 = [];
for (var i = 100000; i >= 0; i--) {
  list2.push(str);
}
var s2 = list2.join("");
console.timeEnd("string concat test !");

結果顯示:讀取與拼接純字串反而更快,Buffer 還額外需要 toString() 的操作。所以結論很明確——保存字串時就該用字串,即使是大量字串拼接,速度也不會比 Buffer 慢。

那什麼時候必須用 Buffer?沒辦法的時候:當我們需要保存非 UTF-8 字串、二進位檔、圖片、壓縮資料等其他格式時,就非得使用 Buffer 不可。純粹的 JavaScript 支援 Unicode 碼而對二進位支援不足,處理 TCP 流或檔案流時,對八位元組流的处理是必要的。

七、總結

  1. JavaScript 適合處理 Unicode 編碼資料,但對二進位資料的處理並不友好。
  2. 因此處理 TCP 流或檔案系統時,對八位元組流的处理很有必要。
  3. Node 提供了幾個用於處理、建立與消耗八位元組流的方法。
  4. 原始資料存放在 Buffer 實例中;Buffer 類似整數陣列,但其記憶體分配在 V8 堆之外,且大小建立後不可更改。
  5. 支援的編碼:ascii、utf8、utf16le、ucs2、base64、binary、hex。
  6. Buffer 為全域物件,直接建構即可得到實例(建議使用 Buffer.from() / Buffer.alloc())。

最後補充一個現代實務重點:Buffer.alloc() 建立出來的記憶體會被填零,而 Buffer.allocUnsafe() 不會——後者效能較好但可能洩露舊資料,只用於「稍後會完整覆寫」的情境。若在不確定時,一律選 Buffer.alloc()。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved