如果要在有限的硬件預算上撐起高吞吐量的 Web 服務,Nginx 配 Node.js 幾乎是公認的黃金組合。兩者同樣採用事件驅動、非阻塞的 I/O 模型,天然繞開了 Apache 那種「一連接一進程」模式在 C10K 面前的尷尬。開箱即用的默認配置已經能應付可觀的並發,但如果你想在普通配置的機器上把每秒請求數推到四五千甚至更高,光靠改配置文件是不夠的。
本文的討論前提是:Nginx 通過 HttpProxyModule 反向代理上游的 Node.js 服務。內容涵蓋三個層次——Linux 內核的 sysctl 網絡參數、Node.js 應用層、以及 Nginx 自身的行為。如果你的系統是 Debian 系,目標一樣能達到,只是具體做法略有差別。
很多人一上手就埋頭調 Nginx 的 worker_processes,卻忽略了更底層的一塊:Nginx 與上游 Node.js 之間是靠 TCP socket 通信的,而內核對 TCP 有一整套連接數、緩衝區、端口範圍的限制。這些閾值的默認值是按通用場景設定的,並沒有考慮 Web 服務器那種「海量連接、生命週期極短」的特徵。地基不平,上面的裝潢再精緻也是白費力氣。
下面這組參數可以作為起點。把它們寫進 /etc/sysctl.conf,或者新建一個 /etc/sysctl.d/99-tuning.conf,然後執行 sysctl -p 讓內核加載:
- net.ipv4.ip_local_port_range='1024 65000'
- net.ipv4.tcp_tw_reuse='1'
- net.ipv4.tcp_fin_timeout='15'
- net.core.netdev_max_backlog='4096'
- net.core.rmem_max='16777216'
- net.core.somaxconn='4096'
- net.core.wmem_max='16777216'
- net.ipv4.tcp_max_syn_backlog='20480'
- net.ipv4.tcp_max_tw_buckets='400000'
- net.ipv4.tcp_no_metrics_save='1'
- net.ipv4.tcp_rmem='4096 87380 16777216'
- net.ipv4.tcp_syn_retries='2'
- net.ipv4.tcp_synack_retries='2'
- net.ipv4.tcp_wmem='4096 65536 16777216'
- vm.min_free_kbytes='65536'
這組數值在大多數場景下是安全的,但仍建議你逐條弄清含義,再結合自己的流量特徵、網卡規格和內存大小挑一組更合適的值——畢竟沒有放之四海皆準的參數表。
Nginx 作為反向代理,每服務一個下游請求就要佔用兩條 TCP 連接:一條面向客戶端,一條面向上游應用。並高一上來,本機可用端口會以驚人的速度被吃乾。把這個參數的可用端口區間拓寬,能顯著延後端口耗盡的時刻。如果 /var/log/syslog 裡開始反覆出現 possible SYN flooding on port 80. Sending cookies,通常就是端口不夠用的信號,調大這個值往往能緩解。
高頻建立與斷開連接的服務器上,會堆積大量 TIME_WAIT 狀態的連接。TIME_WAIT 的含義是連接邏輯上已關閉,但內核尚未回收相關資源。把 net.ipv4.tcp_tw_reuse 設為 1,允許內核在條件安全時複用這類連接,成本遠低於重新握手建連。
它決定 TIME_WAIT 連接在回收前最少要等多久。適當調小可以加快資源周轉,但調得過激可能影響正常連接的可靠關閉,需要結合實際情況權衡。
用 netstat 按狀態統計:
- netstat -tan | awk '{print $6}' | sort | uniq -c
或者用更快的 ss:
- ss -s
隨着負載爬升,你會開始遇到一些讓人費解的現象:連接被無理由丟棄,內核持續報告 SYN flood,可是系統的平均負載和 CPU 使用率都低得可憐——伺服器明明還能接更多請求。這種感覺相當令人沮喪。
排查下去,答案往往藏在連接狀態分佈裡:TIME_WAIT 堆積成了主力。下面是一台服務器的真實輸出:
- ss -s
- Total: 388 (kernel 541)
- TCP: 47461 (estab 311, closed 47135, orphaned 4, synrecv 0, timewait 47135/0), ports 33938
- Transport Total IP IPv6
- * 541 - -
四萬七千多條 TIME_WAIT,真正處於 ESTABLISHED 的僅三百出頭。硬體閒着、連接卻進不來,瓶頸並不在算力,而在內核的連接管理能力。把上面那組 sysctl 參數落到系統裡,再配合 Nginx 的 upstream keepalive 長連接複用,這道牆通常就能推開。
調優是個循環而非一次性動作:改一處、壓一次、看一輪指標,然後再改。任何一份參數清單都只是起點,真正靠得住的依據永遠是你自己環境裡的監控數據。