DIV CSS 佈局教程網

淺析 Node.js 的記憶體洩漏與 node-memwatch 診斷
編輯:JavaScript綜合知識     

本文是 Mozilla Identity 團隊「A Node.JS Holiday Season」系列的首篇。該團隊在開發 Persona 的過程中打造了一系列工具,涵蓋除錯、本地化、相依管理等層面,這篇要談的是 Node.js 最實際的痛點之一:記憶體洩漏,以及用來找出它的 node-memwatch。

為什麼要自尋煩惱?

最常被問到的問題是:既然記憶體不夠就重啟服務、加 RAM 不就完了?三個理由說明為什麼不該這樣:

1. 它會拖慢你。你可能不在意不斷增長的記憶體占用,但 V8 在意。隨著洩漏持續,垃圾回收器會變得越來越激進,應用運行速度隨之下降。

2. 它會引發其他故障。洩漏的程式碼往往持續引用有限資源,你可能耗盡檔案描述符,或突然無法建立新的資料庫連線。這些症狀通常比記憶體用盡更早出現,但同樣讓你陷入困境。

3. 它終會讓你崩潰,而且往往正好發生在你的應用開始受到歡迎的時候。

蟻穴在哪裡

在複雜應用中,洩漏可能發生在任何地方。閉包是最廣為人知也最惡名昭彰的來源:因為閉包保留了對其作用域內物件的引用,而這正是典型的洩漏成因。

閉包洩漏往往要有人刻意去找才會現形。但在 Node 的非同步世界裡,我們隨時都在透過回呼函數產生閉包;如果這些回呼建立後沒有被立即使用與釋放,配置掉的記憶體就會持續累積,就連看起來毫無問題的程式碼也會洩漏,而且更難察覺。

你也可能因為上游程式碼而洩漏。也許你能定位到出問題的模組,卻只能盯著自己那看起來完美無缺的程式碼百思不解。

正是這種難以定位的洩漏,促成了 node-memwatch 的誕生。據說幾個月前,Lloyd Hilaiel 把自己關在小房間裡兩天,追查一個在壓力測試下變得非常明顯的洩漏。兩天後他終於在 Node 核心裡找到元兇:http.ClientRequest 的事件監聽器沒有被釋放——修復它的補丁只有兩個至關重要的字元。這段痛苦經驗讓他決定寫一個能協助推查洩漏的工具。

可用的診斷工具

當時已有不少工具能協助定位 Node 的記憶體洩漏:

· node-mtrace(Jimb Esser):用 GCC 的 mtrace 分析堆的使用。
· node-heap-dump(Dave Pacheco):對 V8 堆拍一張快照並序列化為龐大的 JSON,另附分析用的 JavaScript 工具。
· v8-profiler 與 node-inspector(Danny Coates):把 V8 分析器綁進 Node,並提供基於 WebKit Web Inspector 的除錯介面。
· Felix Geisendorfer 的記憶體洩漏教學:簡短紮實的 v8-profiler 與 node-debugger 使用指南,也是當時最先進的除錯技術說明。
· Joyent SmartOS 平台:提供大量用於除錯 Node 記憶體問題的工具。

這些工具都很優秀,卻都不完全符合他們的情境:Web Inspector 對開發中的應用很好用,但難以用於熱部署,尤其是在多伺服器與子行程的環境下;長時間高負載才出現的洩漏也很難重現;而 dtrace、libumem 這類工具雖然強大,並非所有作業系統都能用。

node-memwatch 提供什麼

他們需要一個跨平台的除錯庫:不需要事先告知它哪裡可能出問題,並且能幫忙指出洩漏位置。node-memwatch 提供四樣東西。

一、leak 事件

memwatch.on('leak', function(info) {
  // 從 info 中推測可能是什麼在洩漏
});

二、stats 事件(Post-GC 堆統計)

它會在每次完整的垃圾回收與記憶體壓縮之後、任何 JS 物件配置之前,發出一份記憶體使用樣本(實作上使用 V8 的 AddGCEpilogueCallback 鉤子)。統計內容包括:

usage_trend(使用趨勢)、current_base(當前基數)、estimated_base(預期基數)、num_full_gc(完整回收次數)、num_inc_gc(增量回收次數)、heap_compactions(記憶體壓縮次數)、min、max。

var memwatch = require('memwatch');
memwatch.on('stats', function(stats) {
  // 處理 GC 後的記憶體使用統計
});

下圖是一個存在洩漏的應用的實際數據:隨時間追蹤記憶體使用,綠線是 process.memoryUsage() 回報的內容,紅線是 node_memwatch 回報的 current_base,左下角是附加資訊。

值得注意的/Incr GCs 數字非常高,那代表 V8 正在拼命試著清記憶體。

三、堆配置趨勢偵測

演算法很簡單:如果連續五次 GC 之後記憶體仍持續成長而沒有釋放,就發出一個 leak 事件。訊息格式一目了然:

{ start: Fri, 29 Jun 2012 14:12:13 GMT,
  end: Fri, 29 Jun 2012 14:12:33 GMT,
  growth: 67984,
  reason: 'heap growth over 5 consecutive GCs (20s) - 11.67 mb/hr' }

四、HeapDiff:找出洩漏元兇

它能比對前後兩張堆快照的物件名稱與配置數量,差異處往往直指問題所在:

var hd = new memwatch.HeapDiff();
// 你的程式碼在這裡執行
var diff = hd.end();

輸出大致如下(節錄):

{
  "before": { "nodes": 11625, "size_bytes": 1869904, "size": "1.78 mb" },
  "after":  { "nodes": 21435, "size_bytes": 2119136, "size": "2.02 mb" },
  "change": {
    "size_bytes": 249232,
    "size": "243.39 kb",
    "freed_nodes": 197,
    "allocated_nodes": 10007,
    "details": [
      { "what": "Array",        "size_bytes": 66688,  "+": 4,    "-": 78 },
      { "what": "Code",         "size_bytes": -55296, "+": 1,    "-": 57 },
      { "what": "LeakingClass", "size_bytes": 239952, "+": 9998, "-": 0  },
      { "what": "String",       "size_bytes": -2120,  "+": 3,    "-": 62 }
    ]
  }
}

LeakingClass 的配置數增加了將近一萬次、卻一次都沒釋放——兇手就寫在報表上。

HeapDiff 在取樣前會先做一次完整的垃圾回收,讓數據不被無用資訊淹沒;memwatch 的事件處理會忽略由 HeapDiff 觸發的回收事件,因此在 stats 事件的回呼中呼叫 HeapDiff 是安全的。

結語

記憶體洩漏之所以棘手,不是因為難修,而是因為難找。把「量測」變成日常的一部分——在壓力測試中掛上 stats 觀察趨勢、在懷疑某段程式碼時用 HeapDiff 比對前後差異——通常比事後猜測有效得多。node-memwatch 已停止維護,新專案可以改用 process.memoryUsage() 搭配 --inspect、Chrome DevTools 的記憶體面板或 heapdump 等工具達成同樣目的,但「先量測、再定位」的順序不會改變。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved