所謂緩衝區(Buffer),就是「臨時貯存區」——暫時存放輸入輸出資料的一段記憶體。它是 Node.js 處理二進位資料的核心基礎。
JavaScript 語言本身只有字串資料型別,沒有真正的二進位型別。而 Node.js 需要處理網路協議、操作資料庫、處理圖片、處理檔案上傳,這些場景中都會遇到大量二進位資料,內建的字串遠不能滿足需求。因此 Node.js 提供了一個與 String 對等的全域建構函式 Buffer。
除了讀取檔案時自動得到 Buffer 實例,也可以直接建構:
var buffer = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]);
Buffer 與字串類似,除了可用 .length 取得位元組長度,也能用 [index] 讀取指定位置的位元組:
buffer[0]; // 0x68
兩者可以互相轉換。用指定編碼把二進位轉為字串:
var str = buffer.toString("utf-8"); // hello
把字串轉為指定編碼下的二進位資料:
var buf = new Buffer("hello", "utf-8"); // <Buffer 68 65 6c 6c 6f>
字串是唯讀的,對字串的任何修改都會產生一個新字串,原字串保持不變。
Buffer 則更像是可以做指標操作的 C 語言陣列——你可以用 [index] 直接修改某個位置的位元組。
這帶來一個容易忽略的行為:slice 方法並不是回傳一個新的 Buffer,而更像是回傳了指向原 Buffer 中間某個位置的指標。
[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ] ^ ^ | | bin bin.slice(2)
因此對 slice 回傳的 Buffer 的修改會作用於原 Buffer:
var bin = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]); var sub = bin.slice(2); sub[0] = 0x65; console.log(bin); // <Buffer 68 65 65 6c 6f> ← 原 Buffer 也被改了
如果想要拷貝一份獨立的 Buffer,必須先建立一個新的 Buffer,再用 copy 方法把資料複製過去。這類似於申請一塊新記憶體,把已有記憶體中的內容複製過來:
var bin = new Buffer([0x68, 0x65, 0x6c, 0x6c, 0x6f]); var dup = new Buffer(bin.length); bin.copy(dup); dup[0] = 0x48; console.log(bin); // <Buffer 68 65 6c 6c 6f> console.log(dup); // <Buffer 48 65 65 6c 6f>
總之,Buffer 把 JavaScript 的資料處理能力從字串擴展到了任意二進位資料。(註:現代寫法應使用 Buffer.from() 與 Buffer.alloc(),new Buffer() 已因安全問題被標記為不建議使用。)
Buffer 是一個典型的 JavaScript 與 C++ 結合模組:效能相關部分用 C++ 實作,非效能相關部分用 JavaScript 實作。
Node 在行程啟動時就把 Buffer 加裝進記憶體並放入全域物件,因此無需 require。Buffer 物件類似於陣列,其元素是 16 進位的兩位數。
關鍵的一點:Buffer 物件的記憶體分配不在 V8 的堆記憶體中,而是在 Node 的 C++ 層面申請。原因是 Buffer 通常體積較大,若放在 V8 堆中會增加垃圾回收的壓力。
為了高效使用申請來得的記憶體,Node 採用 slab 分配機制。slab 是一種動態記憶體管理機制,廣泛應用於各種 *nix 系統,有三種狀態:
實務上的含意是:建立多個小 Buffer 時,它們可能共用同一塊 slab,這讓配置更省資源;但反過來,某個小 Buffer 只要還被引用,整個 slab 就無法被回收。
Buffer 物件可與字串互相轉換,支援的編碼類型:
ASCII、UTF-8、UTF-16LE / UCS-2、Base64、Binary、Hex
字串轉 Buffer
Buffer.from(str, [encoding]) // 預設 UTF-8 buf.write(string, [offset], [length], [encoding])
Buffer 轉字串
buf.toString([encoding], [start], [end])
不支援的編碼可透過 Buffer.isEncoding(encoding) 判斷。若需要更多編碼(如 GBK、Big5),有兩個常見選擇:
iconv-lite:純 JavaScript 實作,更輕量、效能更好,無需 C++ 到 JavaScript 的轉換。iconv:呼叫 C++ 的 libiconv 庫完成。注意 res.on('data', function (chunk) {}) 中的參數 chunk 是 Buffer 物件。直接用 + 拼接會自動轉為字串,對於寬位元組字元可能導致亂碼——因為一個多位元組的字元可能被切分到兩個 chunk 中,各自解碼時都是不完整的。
解法一:使用可讀流中的 setEncoding() 方法,讓 data 事件傳遞的不再是 Buffer 而是編碼後的字串。其內部使用了 StringDecoder 模組,會正確處理跨 chunk 的未完成字元。
stream.setEncoding('utf8');
stream.on('data', function (chunk) {
// chunk 此時是字串,且保證不會切斷多字元
});
解法二:把 Buffer 物件暫存到陣列中,最後用 Buffer.concat() 組裝成一個大 Buffer,再統一編碼轉為字串輸出。
var chunks = [];
stream.on('data', function (chunk) { chunks.push(chunk); });
stream.on('end', function () {
var result = Buffer.concat(chunks).toString('utf8');
});
Buffer 在檔案 I/O 與網路 I/O 中被廣泛應用,其效能舉足輕重,比普通字串拼接高出許多。
另外,檔案讀取時的 highWaterMark 設定對效能影響至關重要:設定過小可能導致系統呼叫次數過多,設定過大則增加單次記憶體佔用。
var buf = new Buffer("this is text concat test !"),
str = "this is text concat test !";
console.time("buffer concat test !");
var list = [];
var len = 100000 * buf.length;
for (var i = 0; i < 100000; i++) {
list.push(buf);
len += buf.length;
}
var s1 = Buffer.concat(list, len).toString();
console.timeEnd("buffer concat test !");
console.time("string concat test !");
var list2 = [];
for (var i = 100000; i >= 0; i--) {
list2.push(str);
}
var s2 = list2.join("");
console.timeEnd("string concat test !");
結果顯示:讀取與拼接純字串反而更快,Buffer 還額外需要 toString() 的操作。所以結論很明確——保存字串時就該用字串,即使是大量字串拼接,速度也不會比 Buffer 慢。
那什麼時候必須用 Buffer?沒辦法的時候:當我們需要保存非 UTF-8 字串、二進位檔、圖片、壓縮資料等其他格式時,就非得使用 Buffer 不可。純粹的 JavaScript 支援 Unicode 碼而對二進位支援不足,處理 TCP 流或檔案流時,對八位元組流的处理是必要的。
Buffer.from() / Buffer.alloc())。最後補充一個現代實務重點:Buffer.alloc() 建立出來的記憶體會被填零,而 Buffer.allocUnsafe() 不會——後者效能較好但可能洩露舊資料,只用於「稍後會完整覆寫」的情境。若在不確定時,一律選 Buffer.alloc()。