DIV CSS 佈局教程網

WebUploader 分片上傳大檔案與伺服器端合併實作
編輯:JQuery入門技巧     

傳統的檔案上傳是把整個檔案一次送到伺服器,期間檔案暫存在記憶體中。上傳的若是影片這類大檔,伺服器記憶體立刻吃緊;而且即使前端進度條顯示 100%,往往還要等上好一段時間,過程中頁面對伺服器的其他請求也會被卡住。

最簡單的做法是等上傳全部完成後再由後端一次存檔:

 public void ProcessRequest(HttpContext context) {
    context.Response.ContentType = "text/plain";
    context.Request.Files[0].SaveAs(
        context.Server.MapPath("~/1/" + context.Request.Files[0].FileName));
    context.Response.Write("Hello World");
} 

但如果檔案很大,更好的方案是「分片上傳」。近期的專案我採用百度開源的 WebUploader,它原生支援分片,官方文件在 https://fex.baidu.com/webuploader/。

一、開啟分片

 var uploader = WebUploader.create({
    auto: true,
    swf: '/webuploader/Uploader.swf',
    server: '/Uploader.ashx',
    pick: '#filePicker',
    chunked: true,     // 開啟分片上傳
    threads: 1,        // 上傳併發數
    // HTTP 是無狀態的,因此帶一個 GUID 用來標示同一個檔案
    formData: { guid: "<%=Guid.NewGuid().ToString()%>" }
}); 

二、分片的運作方式

開啟 chunked 後,WebUploader 會把檔案切成多份,逐份 POST 到你指定的接收端。當檔案大於分片尺寸時才會真的切分,並在表單中多帶兩個欄位:chunk 表示目前分片的序號(從 0 開始),chunks 表示總分片數。

我測試時選了一個檔案,被切成 7 片,於是 Uploader.ashx 就收到了 7 次 POST。

每次請求除了 chunk 與 chunks,還會帶上用來標示「這是同一個檔案」的 GUID。

三、伺服器端的合併邏輯

後端收到資料後,處理步驟是:

  1. 以 GUID 為名稱建立(或開啟)一個暫存檔。
  2. 把收到的分片資料附加到該暫存檔的尾端。
  3. 確認已收到最後一片時,將暫存檔重新命名為原始檔名。
  4. 若沒有分片(小檔案),直接存檔即可。
 public void ProcessRequest(HttpContext context) {
    context.Response.ContentType = "text/plain";

    if (context.Request.Form.AllKeys.Any(m => m == "chunk")) {
        int chunk  = Convert.ToInt32(context.Request.Form["chunk"]);
        int chunks = Convert.ToInt32(context.Request.Form["chunks"]);

        // 以 GUID 命名暫存檔
        string path = context.Server.MapPath("~/1/" + context.Request["guid"]);
        FileStream addFile = new FileStream(path, FileMode.Append, FileAccess.Write);
        BinaryWriter AddWriter = new BinaryWriter(addFile);

        // 讀取本次上傳的分片
        HttpPostedFile file = context.Request.Files[0];
        Stream stream = file.InputStream;
        BinaryReader TempReader = new BinaryReader(stream);

        // 附加到暫存檔尾端
        AddWriter.Write(TempReader.ReadBytes((int)stream.Length));

        TempReader.Close(); stream.Close(); AddWriter.Close(); addFile.Close();
        TempReader.Dispose(); stream.Dispose(); AddWriter.Dispose(); addFile.Dispose();

        // 最後一片到齊,重新命名為原始檔名
        if (chunk == (chunks - 1)) {
            FileInfo fileinfo = new FileInfo(path);
            fileinfo.MoveTo(context.Server.MapPath("~/1/" + context.Request.Files[0].FileName));
        }
    } else {
        // 未分片,直接存檔
        context.Request.Files[0].SaveAs(
            context.Server.MapPath("~/1/" + context.Request.Files[0].FileName));
    }

    context.Response.Write("ok");
} 

四、這個 Demo 還沒解決的問題

程式足以應付基本需求,但有幾個明顯的缺口:

1. 併發寫入衝突。當 threads 大於 1,很可能第一片還在處理,第二片就已經送達,同時對同一個檔案寫入會發生「檔案被另一個行程使用」的錯誤。

2. 加鎖的代價。用鎖當然能解決衝突,但加鎖就等於同一時間只有一個流程能進入存檔區段,併發帶來的效能收益也就被抵銷掉了。

3. 分片抵達順序。網路不保證順序,可能第二片先到、第一片後到。這種情況下無法用「附加串流」的簡單做法,比較穩健的策略是以 GUID 建立多個分片暫存檔,等全部到齊後再按序拼接。

結語

分片上傳的核心價值不只是「能傳大檔」,還包括失敗時只需重傳出錯的那一片,以及進度回報更即時。上面這份程式比較偏向概念驗證,若要上正式環境,建議補上三件事:以 GUID 分檔暫存再合併、用資料庫或 Redis 記錄已收到的分片序號以支援續傳、以及對暫存檔設定過期清理機制,避免中斷的上傳留下垃圾檔案。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved