DIV CSS 佈局教程網

Node.js 學習筆記:Stream 流模塊與 pipe 實戰
編輯:關於JavaScript     

Stream 是一個抽象接口,Node 中大量物件都實現了它:對 HTTP 伺服器的一次請求是流,process.stdout 也是流。流可以是可讀的、可寫的,或兩者兼具。

一、從 Unix 說起

流這個概念最早來自 Unix,幾十年的實踐證明,靠著「流」的抽象就足以搭出相當龐大的系統。在 Unix 裡,流是透過管道符號串起來的;而在 Node 中,內建的 stream 模塊同樣被大量核心模塊與第三方庫使用,主要操作也是 .pipe(),並用反壓力機制來平衡讀與寫的速度。

流的最大價值在於提供了一套可重複使用、統一的接口。舉例來說,一個 TCP 連接既可讀又可寫;而 HTTP 則被拆成兩半——http request 是可讀流,http response 是可寫流。

流動的資料預設以 buffer 形式傳遞,除非另行指定編碼。下面這個最小 HTTP 伺服器就是例子:

var http = require('http');
var server = http.createServer(function (req, res) {
  res.writeHeader(200, { 'Content-Type': 'text/plain' });
  res.end("Hello, 大熊!");
});
server.listen(8888);
console.log("http server running on port 8888 ...");

執行後瀏覽器上會出現亂碼,原因正是沒有指定字符集。補上 charset=utf-8 就正常了:

res.writeHeader(200, {
  'Content-Type': 'text/plain;charset=utf-8'   // 關鍵在這裡
});

二、為什麼非得用 Stream

Node 的 I/O 是異步的,讀寫磁碟與網絡都要透過回調取得資料。最直覺的檔案下載寫法如下:

var http = require('http');
var fs = require('fs');
var server = http.createServer(function (req, res) {
  fs.readFile(__dirname + '/data.txt', function (err, data) {
    res.end(data);
  });
});
server.listen(8888);

功能沒問題,但問題在於:readFile 會先把整個檔案讀進記憶體,再送出。當檔案很大、同時又不斷有請求進來時,記憶體很快就被吃乾;而且使用者必須等整份檔案快取完成才看得到任何內容,體驗自然差。

還好 req 與 res 本身就是 Stream,所以我們可以直接用 fs.createReadStream() 取代 fs.readFile():

var http = require('http');
var fs = require('fs');
var server = http.createServer(function (req, res) {
  var stream = fs.createReadStream(__dirname + '/data.txt');
  stream.pipe(res);
});
server.listen(8888);

.pipe() 內部會監聽可讀流的 data 與 end 事件,資料不必整份快取,客戶端連線建立後立刻就能收到第一個區塊。此外 pipe 還能解決客戶端嚴重延遲時造成的讀寫不平衡。

Node 有五種基本流型別:readable、writable、transform、duplex,以及早期的 "classic" 風格,具體用法可查 API 文檔。

三、從零開始手寫流控

當記憶體一次裝不下要處理的資料,或者一邊讀一邊處理更有效率時,就該上數據流了。以大型檔案拷貝為例,先為資料來源建立一個只讀流:

var rs = fs.createReadStream(pathname);
rs.on('data', function (chunk) {
  doSomething(chunk);      // 細節自行發揮
});
rs.on('end', function () {
  cleanUp();
});

問題是 data 事件會不間斷觸發,不管 doSomething 處理不處理得過來。加上 pause 與 resume 就能踩住煞車:

var rs = fs.createReadStream(src);
rs.on('data', function (chunk) {
  rs.pause();
  doSomething(chunk, function () {
    rs.resume();
  });
});
rs.on('end', function () {
  cleanUp();
});

接著為資料目標建立一個只寫流,把 doSomething 換成寫入動作,看起來就像個拷貝程式了:

var rs = fs.createReadStream(src);
var ws = fs.createWriteStream(dst);
rs.on('data', function (chunk) {
  ws.write(chunk);
});
rs.on('end', function () {
  ws.end();
});

但它仍潛藏著剛才提到的隱憂:一旦寫入速度跟不上讀取速度,只寫流內部的緩衝區就會爆倉。write() 的回傳值正好能告訴我們資料是寫進目標了(回傳 true),還是暫時堆在緩衝區(回傳 false);而 drain 事件則表示緩衝區已排空、可以餵下一批資料了:

var rs = fs.createReadStream(src);
var ws = fs.createWriteStream(dst);
rs.on('data', function (chunk) {
  if (ws.write(chunk) === false) {
    rs.pause();
  }
});
rs.on('end', function () {
  ws.end();
});
ws.on('drain', function () {
  rs.resume();
});

至此才算完成「從只讀流搬到只寫流,且帶有防爆倉控制」的閉環。由於這種場景實在太常見,Node 乾脆直接提供了 .pipe() 來做同一件事,內部原理與上面這段大同小異。

四、加上進度條的完整版本

var fs = require('fs'),
    path = require('path'),
    out = process.stdout;

var filePath = '/bb/bigbear.mkv';
var readStream  = fs.createReadStream(filePath);
var writeStream = fs.createWriteStream('file.mkv');

var stat = fs.statSync(filePath);
var totalSize = stat.size;
var passedLength = 0;
var lastSize = 0;
var startTime = Date.now();

readStream.on('data', function (chunk) {
  passedLength += chunk.length;
  if (writeStream.write(chunk) === false) {
    readStream.pause();
  }
});
readStream.on('end', function () {
  writeStream.end();
});
writeStream.on('drain', function () {
  readStream.resume();
});

setTimeout(function show() {
  var percent = Math.ceil((passedLength / totalSize) * 100);
  var size = Math.ceil(passedLength / 1000000);
  var diff = size - lastSize;
  lastSize = size;
  out.clearLine();
  out.cursorTo(0);
  out.write('已完成' + size + 'MB, ' + percent + '%, 速度:' + diff * 2 + 'MB/s');
  if (passedLength < totalSize) {
    setTimeout(show, 500);
  } else {
    console.log();
    console.log('共用時:' + (endTime - startTime) / 1000 + '秒。');
  }
}, 500);

把這段存成 copy.js 跑跑看:它用一個遞迴的 setTimeout(也可以換成 setInterval)當旁觀者,每 500 毫秒回報一次已完成容量、百分比與速度,拷貝結束後再印出總耗時。

五、重點回顧

理解流的抽象概念;熟練使用相關 API;注意細節把控,例如大檔案拷貝要以 chunk 分片處理;掌握 pipe 的用法。最後再強調一次那個容易混淆的結論:一個 TCP 連接既是可讀流又是可寫流,而 HTTP 連接不同——request 是可讀流,response 是可寫流。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved