DIV CSS 佈局教程網

JVM 的伸縮性難題:從 Java 記憶體牆到調優參數的極限
編輯:JavaScript綜合知識     

多數團隊遇到 Java 效能問題時,第一反應是去調應用程式層級的瓶頸:這段 SQL 慢、那個迴圈該換串流。但如果把視角拉遠一點會發現,真正限制 Java 企業級應用伸縮性的,往往是 JVM 本身。以下整理幾個主導因素。

一、所謂的「Java 記憶體牆」

三個趨勢同時發生,卻彼此矛盾:

  • 主流硬體伺服器提供的記憶體越來越多。
  • 分散式系統對記憶體的需求持續攀升。
  • 但一個普通 Java 應用實際持有的物件空間,大約只有 1GB 到 4GB——遠低於硬體的記憶體管理能力,也遠低於分散式應用的需求量。

這道落差被稱為「Java 記憶體牆」。

上圖呈現的是 Java 應用伺服器與常規 Java 應用在記憶體使用量上的演變。牆的另一邊,是兩個具體的效能課題:

配置太小,就會記憶體不足。JVM 若無法及時釋放空間給應用程式,最終會拋出 OutOfMemoryError 甚至直接關閉。唯一的出路是給更多記憶體。

配置變大,就會遇到碎片化。如果對一個「反應時間敏感」的應用加記憶體,而不重啟系統、也不改寫應用,Java 堆最終會碎片化。碎片一旦發生,可能導致應用停頓 100 毫秒到 100 秒,取決於應用型態、堆的大小與其他調優參數。

值得注意的是,關於停頓的討論大多聚焦在「平均停頓」或「目標停頓」,很少有人談堆壓縮時的最壞情況。而在生產環境中,堆裡每一 GB 有效資料大約会带来一秒的停頓。

2 到 4 秒的停頓對多數企業應用都無法接受。所以即使實際的 Java 實例可能需要更多記憶體,現實上往往只配置 2 到 4GB。有些 64 位系統透過大量伸縮性相關的調優項,可以運行 16GB 乃至 20GB 的堆並滿足典型反應時間的 SLA,但這些做法離普遍可用還遠——以現行 JVM 技術,堆壓縮時就是無法避免停住應用程式。

於是開發人員被卡在兩件為人所詬病的任務之間:

  • 把架構/模型建立在大量實例池之上,隨之而來的是複雜的監控與管理成本。
  • 反覆調優 JVM 與應用程式,只為了避開「stop the world」造成的停頓——而多數程式設計師希望停頓不要發生在系統尖峰負載期間。這是一個幾乎不可能達成的目標。

二、過度實例化:用數量換記憶體

為了榨乾記憶體資源,常見做法是「多而小」:把應用部署到多個應用伺服器實例上,而不是一個或少數幾個。一台機器跑 16 個實例確實能吃掉所有記憶體,但代價是 16 份監控與管理,而且應用若橫跨多台伺服器,成本還要再乘上去。

更麻煩的是,尖峰負載所需的記憶體並非每天都需要,閒置期間就是純浪費。某些情況下,一台實體機上其實只需不到 3 個「大型應用伺服器實例」,這種部署既不經濟也不環保,尤其在非尖峰時段。

上圖左側是「多而小」的部署模式,右側是「少而大」。兩者處理相同負載,問題是:哪一種更具經濟性?

如原文所述,並發壓縮讓大型部署模式變得可行,也才有機會突破 JVM 伸縮性的限制。文中提到當時僅 Azul 的 Zing JVM 具備這項技術,且 Zing 是伺服器端 JVM;作者樂見越來越多開發者在 JVM 層面挑戰 Java 伸縮性的問題。(這段描述反映的是該文撰寫時的技術現況,後續 OpenJDK 陣營的 G1、ZGC、Shenandoah 等收集器也相繼投入了低停頓堆壓縮的方向。)

三、調優參數:常見選項與它們的效果

堆大小:-Xmx

最有名的莫過於 -Xmx,用來指定 Java 堆的大小。要注意不同 JVM 的實作差異:有的把內部結構(編譯器執行緒、垃圾回收器結構、程式碼快取等)所需的記憶體算進 -Xmx 設定內,有的則否。因此使用者 Java 行程的實際大小不一定與 -Xmx 相符。

當應用配置物件的速度、物件生命週期或物件大小超出 JVM 的記憶體相關設定,一旦觸及可使用記憶體上限,就會發生記憶體溢出並停住行程。此時最有效的手段就是加大 -Xmx 重啟。為了避免頻繁重啟,多數生產環境索性直接按尖峰負載所需記憶體配置,形成過度配置。

別忘了重新調整:生產環境與實驗室不同

開發者最常犯的錯誤之一,是把實驗室環境調好的堆設定直接搬到生產環境,卻忘了重新調整。兩個環境的負載型態完全不同,務必依實際生產負載重算。

新生代:-Xns 與 -XX:NewSize

這組參數用來調整年輕代大小,也就是堆中專門負責新物件配置的空間。多數開發者同樣習慣在實驗室環境定值,這等於在生產負載下埋了失敗的風險。

一般把新生代設為堆大小的三分之一到二分之一左右,但這只是經驗法則,實際仍取決於應用邏輯。比較踏實的做法是先調查清楚兩件事:年輕代到年老代的蛻變率,以及年老代物件的大小。在此基礎上——並確保年老代夠大,太小會頻繁觸發 GC 而導致記憶體溢出——盡量把年輕代放大。

存活區比例:-XX:SurvivorRatio

這個參數決定物件在年輕代中停留多久才會被搬往年老代。要「正確」設定它,你得知道年輕代回收的頻率、能估算新物件在行程中被引用的時長,還要考慮配置率。三個變數裡任何一個估錯,設定就跟著失準。

並發垃圾回收

對停頓敏感的應用建議使用並發 GC。並行(parallel)的做法雖然能在吞吐量的基準測試上拿到很漂亮的分數,卻不利於縮短反應時間;並發 GC 是目前唯一能兼顧一致性與極少「stop the world」中斷的方式。各家 JVM 的設定不同,Oracle HotSpot 提供 -XX:+UseConcMarkSweepGC,而 G1 則成為其後的預設並發收集器。

四、調優本身不是解答

前面談到如何「正確」設定參數時,之所以在「正確」上加引號,是因為就個人經驗而言,效能參數調優從來沒有嚴格意義上的正確值。每個設定都只對應特定場景,而場景會變。

以堆大小為例:2GB 的堆或許能應付 20 萬並發使用者,但未必應付得了 40 萬。

再以 -XX:SurvivorRatio 為例:設定值可能是按「負載持續增長至每毫秒 10000 筆交易」調出來的,那麼當壓力變成每毫秒 50000 筆時會發生什麼?

多數企業級應用的負載本來就是動態的,而 Java 的動態記憶體管理與動態編譯等特性,正是它適合企業級應用的原因。以下兩份啟動參數就很能說明問題。

應用程式(1)的啟動選項

java -Xmx12g -XX:MaxPermSize=64M -XX:PermSize=32M -XX:MaxNewSize=2g -XX:NewSize=1g \
     -XX:SurvivorRatio=16 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC \
     -XX:MaxTenuringThreshold=0 -XX:CMSInitiatingOccupancyFraction=60 \
     -XX:+CMSParallelRemarkEnabled -XX:+UseCMSInitiatingOccupancyOnly \
     -XX:ParallelGCThreads=12 -XX:LargePageSizeInBytes=256m ...

應用程式(2)的啟動選項

java -Xms8g -Xmx8g -Xmn2g -XX:PermSize=64M -XX:MaxPermSize=256M \
     -XX:-OmitStackTraceInFastThrow -XX:SurvivorRatio=2 -XX:-UseAdaptiveSizePolicy \
     -XX:+UseConcMarkSweepGC -XX:+CMSConcurrentMTEnabled -XX:+CMSParallelRemarkEnabled \
     -XX:+CMSParallelSurvivorRemarkEnabled -XX:CMSMaxAbortablePrecleanTime=10000 \
     -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=63 \
     -XX:+UseParNewGC -Xnoclassgc ...

兩份設定差異極大,因為它們本來就是兩個不同的應用,各自看起來都做了「正確」的調整,在實驗室也都跑得好好的。但最終在生產環境都會露出疲態:第一份沒有把動態負載納入考慮,一上生產就不良;第二份則沒考慮到應用上生產後的特性變化。這兩種情況都該歸咎於開發團隊——但具體該歸咎於哪個環節?

五、變通辦法可行嗎?

有些企業走了另一條路:精確測量交易物件的大小,據此定義極致的物件回收空間,並「精簡」架構去配合這個空間。這或許能壓低碎片、撐過一整天的交易(在不做堆壓縮的前提下)。

另一條路是透過程式設計,確保物件被引用的時間夠短,讓它們在 SurvivorRatio 指定的時間內就被回收,而不是被搬往年老代,從而避開記憶體壓縮的場景。

兩種辦法都可行,但對應用開發與架構設計人員都是不小的挑戰——它把 GC 的行為變成了應用設計的前置約束。

六、誰該為應用程式的效能負責?

這些不是假設性案例:入口網站可能在活動負載尖峰時掛掉;交易系統可能每次市場劇烈波動就無法運行;電商網站可能應付不了節日購物高峰。當經濟損失發生,開發團隊通常會被責備。某些場合下這確實合理,但 JVM 供應商又該負起什麼責任?

首先,JVM 供應商至少該提供調優參數的優先順序指引,這在短期內仍有意義。有些新調優選項是針對特定的新興企業應用場景而設;但更多選項其實是為了減輕 JVM 支援團隊的負擔,把效能優化的責任轉嫁給應用開發者。個人觀點是,這反而可能帶來更漫長的支援負擔,而針對最糟場景的調優選項也會被延後處理——當然不至於無限延期。

無可否認 JVM 開發團隊也在認真工作,而且只有應用實作者最清楚自己應用的特定需求。問題在於,實作者無法預知動態負載的變化。過去 JVM 供應商會主動分析 Java 的效能與可擴充性問題,判斷哪些是自己能解決的——做法不是提供調優參數,而是直接優化或創新垃圾回收演算法。更有意思的想像或許是:如果 OpenJDK 社群聚在一起重新設計 Java 的垃圾回收器,會發生什麼事?

七、基準測試與真正的挑戰

調優參數有時被 JVM 供應商當成競爭工具,因為不同的調優能改善自家 JVM 在「可預見環境」中的表現。但可預見環境並不等於生產環境。

真正的企業級伸縮性需求,是要求 JVM 能適配動態、靈活的應用負載,並在特定吞吐量與反應時間內維持穩定效能。歸根究柢,這是 JVM 開發者才能完成的任務,因此值得號召整個 Java 社群正視真正的伸縮性挑戰:

  • 持續調優。對給定的應用,起初只需告知需要多少記憶體,之後的適配工作都應由 JVM 負責,讓它自行因應動態的負載與運行情境。
  • 實例數量 vs. 單一實例的可擴展性。現今伺服器都支援很大的記憶體,為什麼 JVM 實例無法有效利用?把應用拆成許多小實例,從經濟與環保角度看都是浪費。現代 JVM 必須跟上硬體與應用的發展。
  • 真實世界的效能與伸縮性。企業不該為了效能需求去做極致的調優。JVM 供應商與 OpenJDK 社群需要解決的是 Java 伸縮性的核心問題,並消除「stop the world」操作。

結論

如果 JVM 能做到這些事,並提供並發壓縮的垃圾回收演算法,它就不再是 Java 伸縮性的限制因素。應用開發者不必再耗費痛苦的時間去理解怎麼設定 JVM 才能拿到最佳效能,於是有更多精力投入真正有趣的應用層創新,而不是無休止的調優。

以今天的眼光回看這篇文章(成稿於 2010 年前後):文中「只有 Zing 具備並發壓縮」的判斷已經過時,CMS 在 JDK 9 被標記為 deprecated、JDK 14 正式移除,G1 成為預設並發收集器,ZGC 與 Shenandoah 則把「超大堆、極低停頓」變成可負擔的選項,PermSize 也早在 JDK 8 被 Metaspace 取代(上面兩份啟動參數中的 -XX:PermSize 在新版 JDK 上已無效)。但它提出的核心問題——調優參數是權宜之計而非解答、以及「多而小」部署的經濟性——至今仍是容量規劃時該捫心自問的兩件事。

關於作者

Eva Andearsson 在 JVM 技術、SOA、雲端運算及其他企業級中介軟體解決方案上有十多年的實務經驗。2001 年,她以 JRockit JVM 開發者的身分加入新創公司 Appeal Virtual Solutions(BEA 公司的前身)。在垃圾回收領域的研究與演算法方面,她獲得了兩項專利,並提出了確定性垃圾回收(Deterministic Garbage Collection),後來發展為 JRockit 即時系統(JRockit Real Time)。技術合作方面,她與 Sun 與 Intel 關係密切,參與了許多整合 JRockit 產品線、WebLogic 與 Coherence 的專案。2009 年她加入 Azul Systems 擔任產品經理,負責 Zing Java 平台的開發;之後以高級產品經理身分加入 Cloudera,負責管理該公司的 Hadoop 分散式系統,投入高擴展性分散式資料處理框架的開發。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved