DIV CSS 佈局教程網

Node.js 的流(Stream):pipe 之外你該知道的事
編輯:關於JavaScript     

什麼是流?

流的概念源自 *nix 的管道:在 Shell 中,一個程序的輸出(stdout)可以直接成為下一個程序的輸入(stdin),兩者用 | 串接起來。

Node 的 Stream 繼承了同樣的精神——它代表一種「資料可以被橋接」的能力。

pipe:流的靈魂

流化的精髓就在 .pipe()。資料流的兩端(上游/下游,或稱讀流/寫流)透過這支方法接在一起。

 // 上游.pipe(下游)
 Readable.pipe(Writable);

流的四種類型

跳過 v0.4 之前的「古典」流,現代的 Stream 都是抽象介面,共分四類:

1. stream.Readable 可讀流,需實作 _read,關注資料如何被讀取
2. stream.Writable 可寫流,需實作 _write,關注資料如何被寫入
3. stream.Duplex 可讀可寫流,需實作上述兩者
4. stream.Transform 繼承 Duplex,需實作 _transform,關注資料塊的轉換

簡單說:

· .pipe() 的呼叫者必須具備 Readable 能力,它有 'readable'/'data'/'end'/'close'/'error' 等事件可訂閱,也提供 .read()、.pause()、.resume() 等方法。
· .pipe() 的參數必須具備 Writable 能力,它有 'drain'/'pipe'/'unpipe'/'error'/'finish' 等事件,也提供 .write()、.end() 等方法。

Stream 的本質是 EventEmitter

在 Node 的原始碼裡,Stream 是這樣定義的:

 var EE = require('events').EventEmitter;
 var util = require('util');
 util.inherits(Stream, EE);

 function Stream() {
  EE.call(this);
}

也就是說,Stream 就是一個 EventEmitter,天生具備事件驅動能力(emit/on)。這與「Node.js 是基於 V8 的事件驅動平台」的說法完全吻合——流式程式設計本質上就是非同步回呼的延伸。

舉例來說,Readable 流有一個 readable 事件:在暫停模式的唯讀流中,只要有一塊資料準備好可讀,它就會通知訂閱者。Node 裡的 process.stdin、http 的 req、ftp 上傳的 req.part 都是 Readable 流。有了這個事件,我們可以輕鬆做一個 Shell 輸出的分析器:

 process.stdin.on('readable', function() {
  var buf = process.stdin.read();
  if (buf) {
    var data = buf.toString();
    // parsing data ...
  }
});

搭配 Shell 使用:

 head -10 some.txt | node parser.js

也可以訂閱 data 與 end 事件,在資料塊抵達與流枯竭時分別處理,如經典的 socket 代理範例:

 req.on('connect', function(res, socket, head) {
  socket.on('data', function(chunk) {
    console.log(chunk.toString());
  });
  socket.on('end', function() {
    proxy.close();
  });
});

Readable 流的兩種狀態

這是最容易踩坑的地方。Readable 流有 flowing mode(激流)與 paused mode(暫停)兩種狀態:

· flowing:停不下來,誰被 pipe 上就馬不停蹄地餵資料。
· paused:被動等待,直到下游明確呼叫 stream.read() 才會讀取資料塊。

Readable 流初始化時是 paused mode。以下任一行為會讓它從 paused 轉為 flowing:

1. 為 Readable 加上 'data' 事件訂閱
2. 呼叫 .resume() 明確開啟
3. 呼叫 .pipe(writable) 橋接到 Writable 流

反之,以下行為會讓它從 flowing 回到 paused:

1. 尚未 pipe 到任何流時,可呼叫 .pause() 暫停
2. 已經 pipe 出去時,需移除所有 'data' 訂閱,並呼叫 .unpipe() 逐一解除與下游的關係

一個應用:把 A 的輸出即時轉發給 B

利用流的特性,我們不必等檔案收完就能邊收邊轉:

 router.post('/post', function(req, res) {
  var destination = req.headers['destination']; // 發給誰
  cache[destination] = req;
  // 故意不回應,因此前端最好用非同步請求
});

接收方請求時:

 router.get('/inbox', function(req, res) {
  var user = req.headers['user'];
  cache.find(user, function(err, previousReq) {  // 找出先前存的 req
    var form = new multiparty.Form();
    form.parse(previousReq);
    form.on('part', function (part) {
      part.pipe(res);   // 流式轉發
      part.on('error', function (err) {
        console.log(err);
        return res.end(err);
      });
    });
  });
});

結語

pipe 的價值在於「不必等全部資料到齊」,這讓大檔案處理、即時轉發、日誌串流等場景的記憶體用量都能壓到極低。想更深入了解,建議閱讀 substack 的 stream-handbook,那是社群公認最完整的流式程式設計指南。

補充:範例中的 multiparty 已停止維護,新專案可改用 busboy 或 formidable。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved