若要搭一個高吞吐量的 Web 服務,Nginx 與 Node.js 幾乎是天生一對:兩者都建立在事件驅動模型上,很容易跨過 Apache 那種傳統伺服器常撞到的 C10K 門檻。預設設定已經能應付可觀的併發,但如果你想在不算昂貴的硬體上做到每秒數千個請求,還有幾件事非做不可。
本文假設你使用 Nginx 的 HttpProxyModule 為上游的 Node.js 服務做反向代理,內容涵蓋三層:Ubuntu 10.04 以上的 sysctl 調優、Nginx 的連線 reuse、以及 Node.js 的行程配置。(Debian 也能達到同樣目標,只是調法略有不同。)
不先了解底層傳輸機制就埋頭調 Nginx 與 Node.js,很可能徒勞無功。一般情況下 Nginx 透過 TCP socket 連接客戶端與上游應用,而系統對 TCP 有大量門檻值與限制,透過核心參數設定;這些預設值多為一般用途而設,未必滿足 Web 伺服器「高流量、短生命週期」的特性。
把下列參數放進 /etc/sysctl.conf,或另開 /etc/sysctl.d/99-tuning.conf,然後執行 sysctl -p 讓核心載入即可。
net.ipv4.ip_local_port_range = '1024 65000' net.ipv4.tcp_tw_reuse = '1' net.ipv4.tcp_fin_timeout = '15' net.core.netdev_max_backlog = '4096' net.core.rmem_max = '16777216' net.core.somaxconn = '4096' net.core.wmem_max = '16777216' net.ipv4.tcp_max_syn_backlog = '20480' net.ipv4.tcp_max_tw_buckets = '400000' net.ipv4.tcp_no_metrics_save = '1' net.ipv4.tcp_rmem = '4096 87380 16777216' net.ipv4.tcp_syn_retries = '2' net.ipv4.tcp_synack_retries = '2' net.ipv4.tcp_wmem = '4096 65536 16777216' vm.min_free_kbytes = '65536'
這些數值可以安全使用,但仍建議你逐項理解含義,再依自己的負載型態、硬體規格與使用情境挑更合適的值。以下挑幾個關鍵的說明。
Nginx 要同時服務下游客戶端與上游應用,每個請求得開啟兩條 TCP 連接。連線一多,可用 port 很快就被吃光。把這個範圍放大可以緩解;若 /var/log/syslog 出現 possible SYN flooding on port 80. Sending cookies,通常就代表系統找不到可用 port 了。
伺服器在大量 TCP 連線之間切換時,會累積一堆處於 TIME_WAIT 狀態的連線。TIME_WAIT 代表連線邏輯上已關閉,但系統資源尚未釋放。設為 1 讓核心在安全前提下盡快回收,成本遠比重新建立連線便宜。
處於 TIME_WAIT 的連線回收前必須等待的最短時間,調小可以加快回收速度。
用 netstat 統計各狀態數量:
netstat -tan | awk '{print $6}' | sort | uniq -c
或用更輕量的 ss:
ss -s
負載升高後,我開始遇到一些莫名其妙的限制:連線被丟棄、核心不停抱怨 SYN flood,但平均負載與 CPU 使用率都還很低,伺服器明顯還有余力。查下去發現有著海量 TIME_WAIT 連線:
ss -s Total: 388 (kernel 541) TCP: 47461 (estab 311, closed 47135, orphaned 4, synrecv 0, timewait 47135/0), ports 33938
四萬七千多個 TIME_WAIT,而且都已經關閉。這代表絕大部分可用 port 被消耗掉了,也暗示 Nginx 為每個連線都配置了新 port。調核心參數有幫助,但 port 還是不夠用。
接著我翻到上游 keepalive 的說明:
也就是說,這個設定能透過在既有連線上傳遞請求,把連線浪費降到最低。文件另外提醒要將 proxy_http_version 設為 1.1 並清空 Connection 標頭——原因很單純:HTTP/1.1 對 TCP 連線的利用率遠優於 1.0,而 Nginx 預設走的是 1.0。
改完後的上游設定:
upstream backend_nodejs {
server nodejs-3:5016 max_fails=0 fail_timeout=10s;
server nodejs-4:5016 max_fails=0 fail_timeout=10s;
server nodejs-5:5016 max_fails=0 fail_timeout=10s;
server nodejs-6:5016 max_fails=0 fail_timeout=10s;
keepalive 512;
}
server 段也一併調整,加上 proxy_next_upstream 以跳過故障節點、調整客戶端 keepalive_timeout,並關掉存取日誌:
server {
listen 80;
server_name fast.gosquared.com;
client_max_body_size 16M;
keepalive_timeout 10;
location / {
proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
proxy_set_header Connection "";
proxy_http_version 1.1;
proxy_pass https://backend_nodejs;
}
access_log off;
error_log /dev/null crit;
}
效果相當直接:伺服器佔用的 socket 下降了約九成。同樣的輸出變成:
ss -s Total: 558 (kernel 604) TCP: 4675 (estab 485, closed 4183, orphaned 0, synrecv 0, timewait 4183/0), ports 2768
Node.js 靠事件驅動異步處理 I/O,開箱就能應付大量連線,這裡主要談行程配置。Node 是單執行緒的,不會自動吃滿多核心,也就是說應用無法自動取得伺服器的全部算力。
可以改寫應用讓它 fork 出多個行程、同時在同一個 port 上收資料,把負載分散到多核心。Node 內建的 cluster 模組提供了必要工具,但要自己接進應用仍需不少工。若你用 Express,eBay 的 cluster2 可以直接用。
跑多行程時,理想狀態是每個 CPU 核心在該時刻只忙一個行程。一般來說,若機器有 N 個核心,開 N-1 個應用行程剛剛好:每個行程都能拿到合理時間片,還留一個核心給核心排程器處理其他雜事。同時也要確保機器上幾乎不跑 Node.js 以外的任務,以免 CPU 被搶。
我們曾經犯過一個錯:同一台機器上部署了兩個 Node.js 應用,各自都開了 N-1 個行程,結果彼此搶 CPU,系統負載直接飆升。即使機器是 8 核心,上下文切換的效能損耗依然肉眼可見——切換時核心必須掛起當前行程的全部狀態,再載入並執行另一個行程。解法很樸素:減少每個應用開啟的行程數,讓它們公平分享 CPU。

注意上圖,系統負載(藍線)如何降到 CPU 核心數(紅線)以下。在其他伺服器上也看到同樣現象。既然總工作量不變,效能改善就只能歸功於上下文切換的減少。