閱讀《C/C++ 雜誌》創刊號中〈重負載 Telnet BBS 系統優化和維護經驗談〉一文,並結合我們自身系統的實際情況,可以整理出幾條頗具參考價值的伺服器優化思路。以下分 IO、記憶體、CPU 三大面向來對照檢視。
a) 盡量使用 shm 等 IPC 手段,而非檔案。
這一點在我們的系統核心部分已有充分考慮(使用了超過 1G 的共享記憶體),以 shm 取代資料庫或檔案。甚至連 flock 這種看似不會造成太多 IO 的同步操作也應避免,因為 flock 需要先 open 檔案,而 open 檔案必須查找 inode,會佔用檔案系統的 inode 緩衝空間,進而拖累其他 IO 效能。很多情況下我們真正需要的只是一個跨行程的 mutex,用 0/1 信號燈即可實作。
我們的系統則頻繁使用記錄鎖(透過 fcntl),因為邏輯上必須實作讀寫鎖而無法避免。至於是否影響效能,目前尚無統計。pthread_rwlock 系列函數屬於執行緒層級,並不適用。
b) 使用應用層緩存。
這點已有考慮:把資料完全或動態地從檔案、資料庫載入記憶體,供即時業務使用。實作中命中率還算可以,但由於實作原因,仍面臨一些資料同步問題。
c) 盡量縮小關鍵 IO 資料結構的大小。
我們系統的即時任務部分雖無頻繁磁碟操作,但各模組間傳遞的資料塊仍有冗餘,原因在於結構體設計主要考慮通用性,採用了 union 或大型緩衝定義。
d) 避免在同一目錄放置過多檔案,或採用合適的檔案系統。
目前暫無此方面的問題。
e) 依系統的存取模式選擇合適的硬體配置與系統參數。
這部分問題不大,我們使用的是高效能機器,且系統核心參數調校得相當充裕。
a) 盡量避免動態初始化常量,用 const 明確區分變數與常量。
「動態初始化常量」這個說法略顯特別;不過一般來說,我們系統中作為常量的都會宣告為全域,應該不會出現所謂「動態初始化」的問題。
b) 降低記憶體峰值使用量,尤其是堆疊中的記憶體。
文章提到盡量少定義或 malloc 大塊緩衝區,這點必須注意。我們系統中動輒定義或 malloc(並初始化、free)上兆、幾兆乃至兩位數兆的地方並不少見。
c) 若有可能,盡量用 shm 保證頁面一定會被多個行程共享。
這一點已有充分考慮。
a) 使用針對硬體優化的編譯器。
建議編譯時針對特定 CPU 指令集優化,並開啟跨檔案優化選項(-ipo)。然而我們對編譯器與編譯過程的研究相對較少,基本上只用了 gcc 的常用選項,而且是除錯模式(-g)!! 庫也都是靜態連結,導致可執行檔龐大、載入緩慢。
b) 用獨立行程來初始化與維護共享內容,避免競爭導致邏輯錯誤。
在初始化共享內容時,有些環節在保護與互斥上做得還不夠,極端情況下容易出問題。
c) 序列化容易導致負載上升的行為。
目前對這點的重視還不夠,除了技術因素,對業務流程瓶頸與衝突的分析也都不夠。
d) 盡量減少信號的使用。
系統在一些環節上過度且不恰當地使用了信號,目前正在逐步減少類似程式碼。
e) 對於大範圍 IO 讀取,使用 mmap 呼叫。
對於龐大的日誌分析操作,可以考慮用 mmap 優化。相較於傳統的 read,mmap 的好處在於減少一次核心態到使用者態的複製;但它並不適用於有寫入的情況,因為 mmap 寫回磁碟時以頁為單位,只要頁中有一個位元組被改寫,就得把整頁資料寫回磁碟。
此外還有幾篇值得一看的文章:〈C10K 問題〉較全面地介紹了各種並發伺服器的回應模式;〈從異步談起〉也是一篇較完整的異步操作技巧文章,重點在 Windows 平台的 overlapped 操作;〈可變參數學習筆記〉則對 C/C++ 中較為微妙的 var_arg / var_list 有很不錯的討論。csdn 這批 e_mag 內容品質相當不錯,值得經常翻閱。