DIV CSS 佈局教程網

Node.js 搭配 Nginx 打造高負載網站:從核心參數到 keepalive 的調優筆記
編輯:關於JavaScript     

若要搭一個高吞吐量的 Web 服務,Nginx 與 Node.js 幾乎是天生一對:兩者都建立在事件驅動模型上,很容易跨過 Apache 那種傳統伺服器常撞到的 C10K 門檻。預設設定已經能應付可觀的併發,但如果你想在不算昂貴的硬體上做到每秒數千個請求,還有幾件事非做不可。

本文假設你使用 Nginx 的 HttpProxyModule 為上游的 Node.js 服務做反向代理,內容涵蓋三層:Ubuntu 10.04 以上的 sysctl 調優、Nginx 的連線 reuse、以及 Node.js 的行程配置。(Debian 也能達到同樣目標,只是調法略有不同。)

一、先調網路層

不先了解底層傳輸機制就埋頭調 Nginx 與 Node.js,很可能徒勞無功。一般情況下 Nginx 透過 TCP socket 連接客戶端與上游應用,而系統對 TCP 有大量門檻值與限制,透過核心參數設定;這些預設值多為一般用途而設,未必滿足 Web 伺服器「高流量、短生命週期」的特性。

把下列參數放進 /etc/sysctl.conf,或另開 /etc/sysctl.d/99-tuning.conf,然後執行 sysctl -p 讓核心載入即可。

net.ipv4.ip_local_port_range = '1024 65000'
net.ipv4.tcp_tw_reuse = '1'
net.ipv4.tcp_fin_timeout = '15'
net.core.netdev_max_backlog = '4096'
net.core.rmem_max = '16777216'
net.core.somaxconn = '4096'
net.core.wmem_max = '16777216'
net.ipv4.tcp_max_syn_backlog = '20480'
net.ipv4.tcp_max_tw_buckets = '400000'
net.ipv4.tcp_no_metrics_save = '1'
net.ipv4.tcp_rmem = '4096 87380 16777216'
net.ipv4.tcp_syn_retries = '2'
net.ipv4.tcp_synack_retries = '2'
net.ipv4.tcp_wmem = '4096 65536 16777216'
vm.min_free_kbytes = '65536'

這些數值可以安全使用,但仍建議你逐項理解含義,再依自己的負載型態、硬體規格與使用情境挑更合適的值。以下挑幾個關鍵的說明。

net.ipv4.ip_local_port_range

Nginx 要同時服務下游客戶端與上游應用,每個請求得開啟兩條 TCP 連接。連線一多,可用 port 很快就被吃光。把這個範圍放大可以緩解;若 /var/log/syslog 出現 possible SYN flooding on port 80. Sending cookies,通常就代表系統找不到可用 port 了。

net.ipv4.tcp_tw_reuse

伺服器在大量 TCP 連線之間切換時,會累積一堆處於 TIME_WAIT 狀態的連線。TIME_WAIT 代表連線邏輯上已關閉,但系統資源尚未釋放。設為 1 讓核心在安全前提下盡快回收,成本遠比重新建立連線便宜。

net.ipv4.tcp_fin_timeout

處於 TIME_WAIT 的連線回收前必須等待的最短時間,調小可以加快回收速度。

二、檢查連線狀態

用 netstat 統計各狀態數量:

netstat -tan | awk '{print $6}' | sort | uniq -c

或用更輕量的 ss:

ss -s

三、Nginx 的 keepalive:效果最明顯的一刀

負載升高後,我開始遇到一些莫名其妙的限制:連線被丟棄、核心不停抱怨 SYN flood,但平均負載與 CPU 使用率都還很低,伺服器明顯還有余力。查下去發現有著海量 TIME_WAIT 連線:

ss -s
Total: 388 (kernel 541)
TCP:   47461 (estab 311, closed 47135, orphaned 4, synrecv 0, timewait 47135/0), ports 33938

四萬七千多個 TIME_WAIT,而且都已經關閉。這代表絕大部分可用 port 被消耗掉了,也暗示 Nginx 為每個連線都配置了新 port。調核心參數有幫助,但 port 還是不夠用。

接著我翻到上游 keepalive 的說明:

  • 設定通往上游伺服器的最大閒置 keepalive 連線數,這些連線會保留在 worker process 的快取中。

也就是說,這個設定能透過在既有連線上傳遞請求,把連線浪費降到最低。文件另外提醒要將 proxy_http_version 設為 1.1 並清空 Connection 標頭——原因很單純:HTTP/1.1 對 TCP 連線的利用率遠優於 1.0,而 Nginx 預設走的是 1.0。

改完後的上游設定:

upstream backend_nodejs {
  server nodejs-3:5016 max_fails=0 fail_timeout=10s;
  server nodejs-4:5016 max_fails=0 fail_timeout=10s;
  server nodejs-5:5016 max_fails=0 fail_timeout=10s;
  server nodejs-6:5016 max_fails=0 fail_timeout=10s;
  keepalive 512;
}

server 段也一併調整,加上 proxy_next_upstream 以跳過故障節點、調整客戶端 keepalive_timeout,並關掉存取日誌:

server {
  listen 80;
  server_name fast.gosquared.com;

  client_max_body_size 16M;
  keepalive_timeout 10;

  location / {
    proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
    proxy_set_header  Connection "";
    proxy_http_version 1.1;
    proxy_pass https://backend_nodejs;
  }

  access_log off;
  error_log /dev/null crit;
}

效果相當直接:伺服器佔用的 socket 下降了約九成。同樣的輸出變成:

ss -s
Total: 558 (kernel 604)
TCP:   4675 (estab 485, closed 4183, orphaned 0, synrecv 0, timewait 4183/0), ports 2768

四、Node.js 的行程層

Node.js 靠事件驅動異步處理 I/O,開箱就能應付大量連線,這裡主要談行程配置。Node 是單執行緒的,不會自動吃滿多核心,也就是說應用無法自動取得伺服器的全部算力。

讓 Node 跑成叢集

可以改寫應用讓它 fork 出多個行程、同時在同一個 port 上收資料,把負載分散到多核心。Node 內建的 cluster 模組提供了必要工具,但要自己接進應用仍需不少工。若你用 Express,eBay 的 cluster2 可以直接用。

避免上下文切換

跑多行程時,理想狀態是每個 CPU 核心在該時刻只忙一個行程。一般來說,若機器有 N 個核心,開 N-1 個應用行程剛剛好:每個行程都能拿到合理時間片,還留一個核心給核心排程器處理其他雜事。同時也要確保機器上幾乎不跑 Node.js 以外的任務,以免 CPU 被搶。

我們曾經犯過一個錯:同一台機器上部署了兩個 Node.js 應用,各自都開了 N-1 個行程,結果彼此搶 CPU,系統負載直接飆升。即使機器是 8 核心,上下文切換的效能損耗依然肉眼可見——切換時核心必須掛起當前行程的全部狀態,再載入並執行另一個行程。解法很樸素:減少每個應用開啟的行程數,讓它們公平分享 CPU。

注意上圖,系統負載(藍線)如何降到 CPU 核心數(紅線)以下。在其他伺服器上也看到同樣現象。既然總工作量不變,效能改善就只能歸功於上下文切換的減少。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved