DIV CSS 佈局教程網

在 Node.js 中實作 HTTP 大檔案分塊上傳
編輯:JavaScript綜合知識     

本文示範如何用 Node.js 建立一個支援 GB 級檔案上傳的後端:前端把檔案切成區塊、以多執行緒平行上傳,後端把區塊各自存檔,最後合併並計算 MD5 校驗碼。範例以 Windows 上的 Visual Studio 為開發環境。

開發環境準備

我們使用 Visual Studio Express 2013 for Web 作為開發環境。它本身不支援 Node.js,因此需要另外安裝 Node.js Tools for Visual Studio;裝好之後,Visual Studio 就轉變為完整的 Node.js IDE。

  1. 下載並安裝 Node.js Windows 版(x86 或 x64,依系統選擇)
  2. 下載並安裝 Node.js 的 Visual Studio 工具

安裝完成後,可從 View → Other Windows → Node.js Interactive Window 開啟互動視窗,輸入幾個指令驗證安裝是否成功。

圖 1 Node.js Interactive Window

接著建立一個新的專案,選擇「Blank Node.js Web Application」範本。

圖 2 使用空白 Node.js Web 應用程式範本建立專案

專案建立後,會看到 server.js 與「Node 套件管理器 (npm)」節點。

圖 3 方案總管中的 Node.js 應用程式

圖 4 範本自帶的 Hello World

接著把 server.js 裡的範例程式碼清掉,並用 npm 安裝專案需要的相依模組:

  • Express:Node.js 網頁應用框架,用於建構單頁、多頁與混合式應用
  • Formidable:解析表單資料,特別是檔案上傳
  • fs-extra:檔案系統操作,補足內建 fs 模組不足的部分

圖 5 以 npm 安裝所需模組

圖 6 安裝完成後的模組清單

接著新增一個「Scripts」資料夾,放入 workeruploadchunk.js 與 workerprocessfile.js,並下載 jQuery 2.x 與 SparkMD5 函式庫;最後加上 Default.html 頁面。

建立 Node.js 後端

先用 require() 匯入所需模組。其中 path 用來產生區塊檔名,crypto 用來計算 MD5:

// 需要的模組
var express = require('express');
var formidable = require('formidable');
var fs = require('fs-extra');
var path = require('path');
var crypto = require('crypto');

接著是關鍵的一行:

var app = express();

Express 應用是一個封裝了 Node.js 底層細節的中間件。對照範本產生的 Hello World——那裡必須手動 require('http') 並呼叫 http.createServer()——Express 已內建了這些能力。

// 讓 Default.html 成為預設首頁
app.use(express.static(__dirname, { index: 'Default.html' }));

// 啟動
app.listen(process.env.PORT || 1337);

// 檔案存放路徑
var uploadpath = 'C:/Uploads/CelerFT/';

接收檔案區塊

Express 應用有 app.VERB() 系列方法提供路由功能。我們用 app.post() 處理 UploadChunk 請求。方法體一開始先做三層檢查:是否為 POST、Content-Type 是否為 multipart/form-data、單一區塊是否超過 51MB。

app.post('*/api/CelerFTFileUpload/UploadChunk*', function (request, response) {

    if (request.method === 'POST') {

        // 檢查 Content-Type
        if (!(request.is('multipart/form-data'))) {
            response.status(415).send('Unsupported media type');
            return;
        }

        // 檢查單一區塊大小
        var maxuploadsize = 51 * 1024 * 1024;
        if (request.headers['content-length'] > maxuploadsize) {
            response.status(413).send('Maximum upload chunk size exceeded');
            return;
        }

通過檢查後,把區塊存成獨立檔案,並以「補零後的序號」命名。這裡最重要的是 fs.ensureDirSync(),它會確認暫存目錄存在,不存在就建立:

// 取得副檔名與主檔名
var extension = path.extname(request.param('filename'));
var baseFilename = path.basename(request.param('filename'), extension);

// 區塊檔名:主檔名.0000000000000001.副檔名.tmp
var tempfilename = baseFilename + '.' +
    request.param('chunkNumber').toString().padLeft('0', 16) +
    extension + ".tmp";

// 暫存目錄依檔名建立
var tempdir = uploadpath + request.param('directoryname') + '/' + baseFilename;
var localfilepath = tempdir + '/' + tempfilename;

if (fs.ensureDirSync(tempdir)) {
    console.log('Created directory ' + tempdir);
}

兩種上傳格式

檔案區塊可以用兩種方式送到後端:一是瀏覽器直接以 FormData 送出二進位;二是先轉成 base64 字串,再手工組出 multipart/form-data 請求。後端需要分辨,因此約定了一個自訂標頭 CelerFT-Encoded。

if (request.headers['celerft-encoded'] === 'base64') {

    var fileSlice = new Buffer(+request.headers['content-length']);
    var bufferOffset = 0;

    request.on('data', function (chunk) {
        chunk.copy(fileSlice, bufferOffset);
        bufferOffset += chunk.length;
    }).on('end', function () {
        // base64 資料位於以 CRLF 切開後的第 4 個索引
        var base64data = fileSlice.toString().split('\r\n');
        var fileData = new Buffer(base64data[4].toString(), 'base64');

        fs.outputFileSync(localfilepath, fileData);
        console.log('Saved file to ' + localfilepath);

        response.status(200).send(localfilepath);
        response.end();
    });
}

若是二進位上傳,則交給 formidable 處理:

else {
    var form = new formidable.IncomingForm();
    form.keepExtensions = true;
    form.uploadDir = tempdir;

    form.parse(request, function (err, fields, files) {
        if (err) {
            response.status(500).send(err);
            return;
        }
    });

    form.on('error', function (err) {
        if (err) {
            response.status(500).send(err);
            return;
        }
    });

    // formidable 會先存成隨機檔名,這裡再搬成我們的命名規則
    form.on('end', function (fields, files) {
        var temp_path = this.openedFiles[0].path;

        fs.move(temp_path, localfilepath, function (err) {
            if (err) {
                response.status(500).send(err);
                return;
            } else {
                response.status(200).send(localfilepath);
                response.end();
            }
        });
    });
}

合併所有區塊

app.get() 用來處理 MergeAll 請求:確認區塊數量無誤、依序寫入單一檔案、搬到正式位置、刪除暫存目錄,最後計算 MD5。

app.get('*/api/CelerFTFileUpload/MergeAll*', function (request, response) {

    if (request.method === 'GET') {

        var extension = path.extname(request.param('filename'));
        var baseFilename = path.basename(request.param('filename'), extension);
        var localFilePath = uploadpath + request.param('directoryname') + '/' + baseFilename;

        // 只取 *.tmp,確認區塊齊全
        var files = getfilesWithExtensionName(localFilePath, 'tmp');

        if (files.length != request.param('numberOfChunks')) {
            response.status(400).send('Number of file chunks less than total count');
            return;
        }

        var filename = localFilePath + '/' + baseFilename + extension;
        var outputFile = fs.createWriteStream(filename);

        outputFile.on('finish', function () {
            console.log('file has been written');

            var newfilename = uploadpath + request.param('directoryname') +
                '/' + baseFilename + extension;

            fs.removeSync(newfilename);

            fs.move(filename, newfilename, function (err) {
                if (err) {
                    response.status(500).send(err);
                    return;
                } else {
                    fs.removeSync(localFilePath);

                    var hash = crypto.createHash('md5'),
                        hashstream = fs.createReadStream(newfilename);

                    hashstream.on('data', function (data) {
                        hash.update(data);
                    });

                    hashstream.on('end', function () {
                        var md5results = hash.digest('hex');
                        response.status(200).send(
                            'Successfully merged file ' + filename +
                            ", " + md5results.toUpperCase()
                        );
                        response.end();
                    });
                }
            });
        });

        // 依序把區塊寫入並刪除
        for (var index in files) {
            var data = fs.readFileSync(localFilePath + '/' + files[index]);
            outputFile.write(data);
            fs.removeSync(localFilePath + '/' + files[index]);
        }

        outputFile.end();
    }
});

Node.js 沒有內建 String.padLeft(),需自行擴充:

String.prototype.padLeft = function (paddingChar, length) {
    var s = new String(this);
    if ((this.length < length) && (paddingChar.toString().length > 0)) {
        for (var i = 0; i < (length - this.length); i++) {
            s = paddingChar.toString().charAt(0).concat(s);
        }
    }
    return s;
};

用 iisnode 整合 IIS

為了實作平行上傳,需要利用「域名分片 (domain sharding)」——用不同網域或不同連接埠託管同一個站點,藉此讓瀏覽器建立超過常規上限的並行連線。範例採用不同連接埠(8000~8005)的做法。

這一步需要把 Node.js 整合進 IIS(Microsoft Internet Information Services):下載 iisnode(x86 或 x64)與 IIS URL Rewrite 套件。安裝完成後,在 IIS 管理員中建立 6 個站台,第一個命名為 CelerFTJS、連接埠設為 8000,其餘依序類推。我為每個站台各開一個應用程式集區,並給予「LocalSystem」層級的權限,實體路徑皆指向 C:\inetpub\wwwroot\CelerFTNodeJS。

圖 7 在 IIS 管理員中新增站台

圖 8 資料夾結構

接著以 Release 模式編譯 Node.js 應用,把 server.js、Scripts 資料夾與 node_modules 複製到該目錄,並建立 web.config:

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <system.webServer>
    <handlers>
      <add name="iisnode" path="*.js" verb="*" modules="iisnode" />
    </handlers>
    <defaultDocument>
      <files>
        <value>Default.html</value>
      </files>
    </defaultDocument>
    <rewrite>
      <rules>
        <rule name="CelerFTJS">
          <match url="/*" />
          <action type="Rewrite" url="server.js" />
        </rule>
      </rules>
    </rewrite>
  </system.webServer>
</configuration>

意思是讓 iisnode 處理所有 *.js,並由 server.js 接收任何符合 /* 的請求。

若一切正確,即可透過 https://localhost:8000 瀏覽並進入 Default.html。另外,下列 iisnode 設定有助於改善 Node.js 在 IIS 中的效能:

node_env="production"
debuggingEnabled="false"
devErrorsEnabled="false"
nodeProcessCountPerApplication="0"
maxRequestBufferSize="52428800"

平行上傳所需的 CORS

域名分片的本質是「把請求分散到不同網域」,這會觸發同源政策限制,因此後端必須開啟跨域資源共享。好消息是 XMLHttpRequest Level 2 已支援 CORS,只要後端開了,前端的 workeruploadchunk.js 就不必更動上傳邏輯。

// 啟用 CORS
var enableCORS = function (request, response, next) {
    response.header('Access-Control-Allow-Origin', '*');
    response.header('Access-Control-Allow-Methods', 'GET,POST,OPTIONS');
    response.header('Access-Control-Allow-Headers',
        'Content-Type, Authorization, Content-Length, X-Requested-With');

    // 攔截 OPTIONS 預檢請求
    if ('OPTIONS' == request.method) {
        response.send(204);
    } else {
        next();
    }
};

app.use(enableCORS);

請求分為兩類。簡單請求:只用 GET、HEAD 或 POST,且 POST 的 Content-Type 限於 application/x-www-form-urlencoded、multipart/form-data 或 text/plain,並且不設定自訂標頭。預檢請求:使用其他方法、Content-Type 不在上述範圍,或設定了自訂標頭(如 X-PINGOTHER)。本例屬於簡單請求,因此不必額外處理。

前端在 workeruploadchunk.js 的 self.onmessage 中加入平行上傳的分支:

// 後端支援平行上傳(以不同連接埠實現,且必須實作 CORS)
else if (workerdata.chunk != null && workerdata.paralleluploads == true) {

    if (urlnumber >= 6) { urlnumber = 0; }
    if (urlcount >= 6)  { urlcount = 0; }

    if (urlcount == 0) {
        uploadurl = workerdata.currentlocation + webapiUrl + urlnumber;
    } else {
        // 遞增連接埠,例如 8000, 8001, 8002 ...
        uploadurl = workerdata.currentlocation.slice(0, -1) + urlcount +
            webapiUrl + urlnumber;
    }

    upload(workerdata.chunk, workerdata.filename,
        workerdata.chunkCount, uploadurl, workerdata.asyncstate);

    urlcount++;
    urlnumber++;
}

Default.html 中先保存目前的通訊協定與主機,因為做 CORS 請求時必須送出完整 URL:

// 保存目前協定與主機,供平行上傳使用
var currentProtocol = window.location.protocol;
var currentHostandPort = window.location.host;
var currentLocation = currentProtocol + "//" + currentHostandPort;

送出上傳訊息時一併帶上這些資訊:

// 送往上傳 worker
case 'upload':
    // 檢查後端是否支援平行上傳
    var paralleluploads = false;
    if ($('#select_parallelupload').prop('checked')) {
        paralleluploads = true;
    }

    uploadworkers[data.id].postMessage({
        'chunk': data.blob,
        'filename': data.filename,
        'directory': $("#select_directory").val(),
        'chunkCount': data.chunkCount,
        'asyncstate': data.asyncstate,
        'paralleluploads': paralleluploads,
        'currentlocation': currentLocation,
        'id': data.id
    });
    break;

圖 9 CelerFT 的平行上傳介面

幾點必要的提醒

這份程式碼寫於 Node.js 早期,實作時請留意幾處已過時的寫法:new Buffer() 自 Node 10 起已廢棄,請改用 Buffer.from() 與 Buffer.alloc();request.param() 在 Express 4 中已移除,請改用 req.query 與 req.params;form.on('end') 與 this.openedFiles 屬於 formidable v1 的 API,新版請改用 form.parse() 的回呼參數或 fileBegin 事件。

此外,合併區塊時逐一 readFileSync 整個區塊進記憶體,對 GB 級檔案並不理想;建議改用 fs.createReadStream() 搭配 pipe() 串接寫入,讓記憶體占用保持穩定。而 MD5 已不適合當作完整性或簽章依據,如需防篡改應改用 SHA-256。最後, IIS 與 iisnode 的組合也早已不是主流部署方式,今日的 Node.js 服務多部署於容器或 Linux 環境並由反向代理分流。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved