流(Stream)是 Node.js 中處理數據的重要抽象。本文從"流是什麼"講起,深入 pipe 方法、流的分類、Readable 流的狀態切換,並給出實際妙用示例。
說到流,就要提到 *nix 中的"管道"概念:一個進程的輸出(stdout)可直接作為下一個進程的輸入(stdin)。在 Node 中,流的概念與之類似,代表一種可供橋接的數據流。
流化的精髓在於 .pipe() 方法。數據流的兩端(上游/下游,或稱讀流/寫流)通過 pipe() 完成橋接。

偽代碼表現為:
代碼如下:
//上游.pipe(下游)
Readable.pipe(Writable);
流分為以下幾類(皆為抽象接口):
1. stream.Readable 可讀流(需實現 _read,關注讀取細節)
2. stream.Writable 可寫流(需實現 _write,關注寫入細節)
3. stream.Duplex 可讀寫流(需實現以上兩接口)
4. stream.Transform 繼承自 Duplex(需實現 _transform,關注數據塊處理)
簡單說:.pipe() 的擁有者具備 Readable 能力,擁有 'readable'/'data'/'end'/'close'/'error' 等事件及 read()/pause()/resume() 等方法;.pipe() 的參數具備 Writable 能力,擁有 'drain'/'pipe'/'unpipe'/'error'/'finish' 等事件及 write()/end() 等方法。
在 Node.js 源碼裡,Stream 這樣定義:
代碼如下:
var EE = require('events').EventEmitter;
var util = require('util');
util.inherits(Stream, EE);
function Stream() { EE.call(this); }
可見,Stream 本質上是一個 EventEmitter,具備事件驅動能力(emit/on)。這與"Node.js 是基於事件驅動的平台"一脈相承,也讓流式編程具備了異步回調的特徵。
例如在 Readable 流中,有 readable 事件:在暫停的只讀流中,只要數據塊準備好可讀,就會通知訂閱者。有了它,我們可以寫個分析 shell 命令輸出的工具:
代碼如下:
process.stdin.on('readable', function(){
var buf = process.stdin.read();
if(buf){ var data = buf.toString(); /* parsing data ... */ }
});
這樣調用:
代碼如下:
head -10 some.txt | node parser.js
此外還可訂閱 data 和 end 事件,以獲取數據塊並在流枯竭時收到通知:
代碼如下:
req.on('connect', function(res, socket, head) {
socket.on('data', function(chunk) { console.log(chunk.toString()); });
socket.on('end', function() { proxy.close(); });
});
Readable 流有兩種狀態:flowing mode(激流)與 pause mode(暫停)。前者停不下來,被 pipe 上就源源不斷地讀;後者會暫停,直到下游顯式調用 read() 才讀取。流初始化時是 pause mode。
pause 轉 flowing 的行為:
1. 添加 data 事件訂閱
2. 調用 .resume()
3. 調用 .pipe(writable)
flowing 轉回 pause 的行為:
1. 尚未 pipe 時調用 .pause()
2. 已 pipe 時移除所有 data 訂閱並調用 .unpipe() 逐一解除
router.post('/post', function(req, res) {
var destination = req.headers['destination'];
cache[destionation] = req; // 並不返回,最好是 ajax 請求
});
用戶 B 請求時,用 multiparty 解析上傳並把每個 part 直接 pipe 到響應:
router.get('/inbox', function(req, res){
var user = req.headers['user'];
cache.find(user, function(err, previousReq){
var form = new multiparty.Form();
form.parse(previousReq);
form.on('part', function (part) {
part.pipe(res); // 流式大法好
part.on('error', function (err) { return res.end(err); });
});
});
});
掌握流,你就能寫出內存友好、可組合的高性能 I/O 程序。想深入的朋友,推薦閱讀 stream-handbook。