本文是 Mozilla Identity 團隊「A Node.JS Holiday Season」系列的首篇。該團隊在開發 Persona 的過程中打造了一系列工具,涵蓋除錯、本地化、相依管理等層面,這篇要談的是 Node.js 最實際的痛點之一:記憶體洩漏,以及用來找出它的 node-memwatch。
最常被問到的問題是:既然記憶體不夠就重啟服務、加 RAM 不就完了?三個理由說明為什麼不該這樣:
1. 它會拖慢你。你可能不在意不斷增長的記憶體占用,但 V8 在意。隨著洩漏持續,垃圾回收器會變得越來越激進,應用運行速度隨之下降。
2. 它會引發其他故障。洩漏的程式碼往往持續引用有限資源,你可能耗盡檔案描述符,或突然無法建立新的資料庫連線。這些症狀通常比記憶體用盡更早出現,但同樣讓你陷入困境。
3. 它終會讓你崩潰,而且往往正好發生在你的應用開始受到歡迎的時候。
在複雜應用中,洩漏可能發生在任何地方。閉包是最廣為人知也最惡名昭彰的來源:因為閉包保留了對其作用域內物件的引用,而這正是典型的洩漏成因。
閉包洩漏往往要有人刻意去找才會現形。但在 Node 的非同步世界裡,我們隨時都在透過回呼函數產生閉包;如果這些回呼建立後沒有被立即使用與釋放,配置掉的記憶體就會持續累積,就連看起來毫無問題的程式碼也會洩漏,而且更難察覺。
你也可能因為上游程式碼而洩漏。也許你能定位到出問題的模組,卻只能盯著自己那看起來完美無缺的程式碼百思不解。
正是這種難以定位的洩漏,促成了 node-memwatch 的誕生。據說幾個月前,Lloyd Hilaiel 把自己關在小房間裡兩天,追查一個在壓力測試下變得非常明顯的洩漏。兩天後他終於在 Node 核心裡找到元兇:http.ClientRequest 的事件監聽器沒有被釋放——修復它的補丁只有兩個至關重要的字元。這段痛苦經驗讓他決定寫一個能協助推查洩漏的工具。
當時已有不少工具能協助定位 Node 的記憶體洩漏:
· node-mtrace(Jimb Esser):用 GCC 的 mtrace 分析堆的使用。
· node-heap-dump(Dave Pacheco):對 V8 堆拍一張快照並序列化為龐大的 JSON,另附分析用的 JavaScript 工具。
· v8-profiler 與 node-inspector(Danny Coates):把 V8 分析器綁進 Node,並提供基於 WebKit Web Inspector 的除錯介面。
· Felix Geisendorfer 的記憶體洩漏教學:簡短紮實的 v8-profiler 與 node-debugger 使用指南,也是當時最先進的除錯技術說明。
· Joyent SmartOS 平台:提供大量用於除錯 Node 記憶體問題的工具。
這些工具都很優秀,卻都不完全符合他們的情境:Web Inspector 對開發中的應用很好用,但難以用於熱部署,尤其是在多伺服器與子行程的環境下;長時間高負載才出現的洩漏也很難重現;而 dtrace、libumem 這類工具雖然強大,並非所有作業系統都能用。
他們需要一個跨平台的除錯庫:不需要事先告知它哪裡可能出問題,並且能幫忙指出洩漏位置。node-memwatch 提供四樣東西。
一、leak 事件
memwatch.on('leak', function(info) {
// 從 info 中推測可能是什麼在洩漏
});
二、stats 事件(Post-GC 堆統計)
它會在每次完整的垃圾回收與記憶體壓縮之後、任何 JS 物件配置之前,發出一份記憶體使用樣本(實作上使用 V8 的 AddGCEpilogueCallback 鉤子)。統計內容包括:
usage_trend(使用趨勢)、current_base(當前基數)、estimated_base(預期基數)、num_full_gc(完整回收次數)、num_inc_gc(增量回收次數)、heap_compactions(記憶體壓縮次數)、min、max。
var memwatch = require('memwatch');
memwatch.on('stats', function(stats) {
// 處理 GC 後的記憶體使用統計
});
下圖是一個存在洩漏的應用的實際數據:隨時間追蹤記憶體使用,綠線是 process.memoryUsage() 回報的內容,紅線是 node_memwatch 回報的 current_base,左下角是附加資訊。

值得注意的/Incr GCs 數字非常高,那代表 V8 正在拼命試著清記憶體。
三、堆配置趨勢偵測
演算法很簡單:如果連續五次 GC 之後記憶體仍持續成長而沒有釋放,就發出一個 leak 事件。訊息格式一目了然:
{ start: Fri, 29 Jun 2012 14:12:13 GMT,
end: Fri, 29 Jun 2012 14:12:33 GMT,
growth: 67984,
reason: 'heap growth over 5 consecutive GCs (20s) - 11.67 mb/hr' }
四、HeapDiff:找出洩漏元兇
它能比對前後兩張堆快照的物件名稱與配置數量,差異處往往直指問題所在:
var hd = new memwatch.HeapDiff();
// 你的程式碼在這裡執行
var diff = hd.end();
輸出大致如下(節錄):
{
"before": { "nodes": 11625, "size_bytes": 1869904, "size": "1.78 mb" },
"after": { "nodes": 21435, "size_bytes": 2119136, "size": "2.02 mb" },
"change": {
"size_bytes": 249232,
"size": "243.39 kb",
"freed_nodes": 197,
"allocated_nodes": 10007,
"details": [
{ "what": "Array", "size_bytes": 66688, "+": 4, "-": 78 },
{ "what": "Code", "size_bytes": -55296, "+": 1, "-": 57 },
{ "what": "LeakingClass", "size_bytes": 239952, "+": 9998, "-": 0 },
{ "what": "String", "size_bytes": -2120, "+": 3, "-": 62 }
]
}
}
LeakingClass 的配置數增加了將近一萬次、卻一次都沒釋放——兇手就寫在報表上。
HeapDiff 在取樣前會先做一次完整的垃圾回收,讓數據不被無用資訊淹沒;memwatch 的事件處理會忽略由 HeapDiff 觸發的回收事件,因此在 stats 事件的回呼中呼叫 HeapDiff 是安全的。
記憶體洩漏之所以棘手,不是因為難修,而是因為難找。把「量測」變成日常的一部分——在壓力測試中掛上 stats 觀察趨勢、在懷疑某段程式碼時用 HeapDiff 比對前後差異——通常比事後猜測有效得多。node-memwatch 已停止維護,新專案可以改用 process.memoryUsage() 搭配 --inspect、Chrome DevTools 的記憶體面板或 heapdump 等工具達成同樣目的,但「先量測、再定位」的順序不會改變。