一個 Node.js 行程只會跑在單一實體核心上,這使得「如何把機器上其餘的核心用起來」成為打造可擴展服務時的必修課。本文比較幾種常見架構,並介紹 Mozilla 在 Persona 專案中發展出的 compute-cluster 模組。
Persona 需要處理大量特性各異的請求,於是分成兩類:互動型(Interactive)請求必須輕量、即時,讓 UI 不會卡頓;批次型(Batch)請求則可能需要半秒甚至更久的運算時間。為了兼顧擴展性與成本,他們定下四項需求:
效率:能有效運用所有閒置的處理器。
響應:應用能即時快速回應。
優雅:負載超過極限時,能處理的先處理,不能處理的清楚回報錯誤。
簡單:方案的使用方式必須簡單。
function myRequestHandler(request, response) {
// 讓整個流程停上半秒
var results = doComputationWorkSync(request.somesuch);
}
結果很差:無法利用多核,互動式請求必須等目前這筆處理完,毫無優雅可言。唯一優點是夠簡單。
不見得有效,取決於背景執行是否真的有意義。若運算本身仍跑在主線程上,只是把回呼包進 process.nextTick,那實際上並沒有解放任何資源:
function doComputationWork(input, callback) {
// 這個「非同步」函式的內部實作仍然同步跑在主線程,
// 因此整個行程一樣會被拖住。
var output = doComputationWorkSync(input);
process.nextTick(function() { callback(null, output); });
}
關鍵在於:Node 的非同步 API 並不等於背後有多行程在支撐。
寫得好的原生模組確實能在 Node 中開出多執行緒,Nick Campbell 的 bcrypt 就是著名例子。在四核心機器上測試,能看到約四倍的吞吐量;但換到 24 核心機器,結果幾乎沒有改善——四個核心接近满载,其餘閒置。
原因有兩層。表層是這個庫使用 Node 內部的執行緒池,而該池的執行緒數上限寫死為 4。更深的問題是:拿內部執行緒池跑大量運算,會干擾檔案與網路操作,讓程式整體看起來反應遲鈍;而且等待佇列一旦積壓(例如已排了五分鐘的運算量),你根本不會想再往里丟工作。
Node 0.6 以後提供 cluster,可以建立一組「共享同一個 socket」的行程來分擔負載。但若底層仍是同步處理或沿用內建執行緒池,缺點照舊:響應緩慢、不夠優雅。單純增加執行實例並不能解決問題。
Persona 的做法是維護一組功能單一但互不相同的運算行程,並為此寫出了 compute-cluster。它會自動按需啟動與管理子行程,讓你用程式碼的方式操作一個本地子行程叢集:
const computecluster = require('compute-cluster');
// 配置一個運算叢集
var cc = new computecluster({ module: './worker.js' });
// 平行送出工作
cc.enqueue({ input: "foo" }, function (error, result) {
console.log("foo done", result);
});
cc.enqueue({ input: "bar" }, function (error, result) {
console.log("bar done", result);
});
worker.js 回應 message 事件,專心把單一工作做完:
process.on('message', function(m) {
// 在這裡做大量運算,不必擔心阻塞主線程,
// 因為這個行程的職責就是一次處理一件事。
var output = doComputationWorkSync(m.input);
process.send(output);
});
多核能力:子行程用滿所有核心。
響應能力:核心管理行程只負責啟動子行程與傳遞訊息,大部分時間空閒,能處理更多互動請求;即使機器負載很高,還能靠作業系統的排程器提高它的優先級。
簡單性:對外仍是非同步 API,實作細節被隱藏起來,既有的呼叫程式碼幾乎不必改動就能整合。
compute-cluster 除了管理行程與傳遞訊息,還會記錄目前運行的子行程數與每個子行程的平均完成時間。有了這些數據,就能在子行程啟動前預估它大概要花多久;再搭配開發者設定的 max_request_time,可以直接回絕那些很可能超時的請求,不必白白佔用資源。
這讓你能用使用者體驗的語言來描述設定,例如「使用者登入不該等待超過 10 秒」,那麼把 max_request_time 設為 7 秒(預留網路傳輸時間)就是個合理的近似。
Persona 在壓力測試中得到相當令人滿意的結果:壓力極高時仍能服務已通過驗證的使用者,同時明確拒絕一部分未驗證的請求並回傳錯誤訊息,而不是讓整個服務崩掉。
需要補充的是,Node 官方後續提供了 worker_threads 與叢集管理的成熟方案,cluster 模組本身也在持續演進。今天有新專案時,優先考慮 worker_threads 會比自行打造行程池更省心,但本文的設計思路——把運算密集工作從回應路徑中剝離、並對超時做出明確決策——至今仍然適用。