DIV CSS 佈局教程網

Node.js 搭配 Nginx 打造高負載網站架構
編輯:JavaScript綜合知識     

Nginx 與 Node.js 幾乎是天生一對:兩者都建立在事件驅動模型上,能輕鬆突破 Apache 這類傳統伺服器的 C10K 瓶頸。預設設定已經能應付可觀的併發量,但若想在相對廉價的硬體上做到每秒數千個請求,還有幾件事必須處理。

本文假設你使用 Nginx 的 HttpProxyModule 作為 Node.js 上游的反向代理,內容涵蓋 Ubuntu 10.04 以上版本的 sysctl 調優,以及 Node.js 應用與 Nginx 本身的調整(Debian 也能達到同樣目標,只是做法略有差異)。

一、網路層調優

Nginx 通常透過 TCP socket 串接客戶端與上游應用。作業系統對 TCP 有許多門檻值與限制,透過內核參數設定,而這些預設值多半是為一般用途設計的,並不適合高流量、短生命週期的 Web 服務。

可以將下列參數放進 /etc/sysctl.conf,或新增例如 /etc/sysctl.d/99-tuning.conf 的設定檔,然後執行 sysctl -p 讓內核載入:

net.ipv4.ip_local_port_range = '1024 65000'
net.ipv4.tcp_tw_reuse       = '1'
net.ipv4.tcp_fin_timeout    = '15'
net.core.netdev_max_backlog = '4096'
net.core.rmem_max           = '16777216'
net.core.somaxconn          = '4096'
net.core.wmem_max           = '16777216'
net.ipv4.tcp_max_syn_backlog = '20480'
net.ipv4.tcp_max_tw_buckets  = '400000'
net.ipv4.tcp_no_metrics_save = '1'
net.ipv4.tcp_rmem  = '4096 87380 16777216'
net.ipv4.tcp_wmem  = '4096 65536 16777216'
net.ipv4.tcp_syn_retries    = '2'
net.ipv4.tcp_synack_retries = '2'
vm.min_free_kbytes          = '65536'

這些數值可以安全使用,但仍建議先了解每個參數的意義,再依自己的負載型態、硬體規格與使用情境挑選更合適的值。

net.ipv4.ip_local_port_range

Nginx 要同時服務下游客戶端與上游應用,每個請求其實會開啟兩條 TCP 連線。連線一多,可用埠很快就會耗盡。如果 /var/log/syslog 出現 possible SYN flooding on port 80. Sending cookies,通常就代表系統找不到可用埠了,調大這個範圍能有效緩解。

net.ipv4.tcp_tw_reuse

伺服器頻繁切換大量連線時,會累積許多 TIME_WAIT 狀態的連線。TIME_WAIT 代表連線已關閉但資源尚未釋放,把它設為 1 可讓內核在安全的前提下盡快回收,成本遠比重新建立連線低。

net.ipv4.tcp_fin_timeout

決定 TIME_WAIT 狀態連線回收前必須等待的時間,調小可以加快回收速度。

如何檢視連線狀態

netstat -tan | awk '{print $6}' | sort | uniq -c
# 或
ss -s

二、Nginx 的 keepalive 設定

當負載逐步升高,Nginx 開始丟棄連線、內核不斷抱怨 SYN flood,但平均負載與 CPU 使用率卻都很低——這種情況通常不是資源不足,而是埠被 TIME_WAIT 佔滿了。實際量測時可以看到四萬多個 TIME_WAIT 連線:

ss -s
Total: 388 (kernel 541)
TCP: 47461 (estab 311, closed 47135, orphaned 4, synrecv 0, timewait 47135/0), ports 33938

研究後發現關鍵在上游 keepalive 指令:它設定通往上游伺服器的最大閒置保活連線數,這些連線會保留在工作程序的快取中,讓請求可以在既有連線上傳遞,避免浪費。同時也要把 proxy_http_version 設為 1.1 並清空 Connection 標頭,因為 Nginx 預設使用 HTTP/1.0,而 1.1 對 TCP 連線的利用率好得多。

upstream backend_nodejs {
    server nodejs-3:5016 max_fails=0 fail_timeout=10s;
    server nodejs-4:5016 max_fails=0 fail_timeout=10s;
    server nodejs-5:5016 max_fails=0 fail_timeout=10s;
    server nodejs-6:5016 max_fails=0 fail_timeout=10s;
    keepalive 512;
}

server {
    listen 80;
    server_name fast.gosquared.com;
    client_max_body_size 16M;
    keepalive_timeout 10;

    location / {
        proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
        proxy_set_header Connection "";
        proxy_http_version 1.1;
        proxy_pass https://backend_nodejs;
    }

    access_log off;
    error_log /dev/null crit;
}

套用新設定後,伺服器占用的 socket 下降了約九成:

ss -s
Total: 558 (kernel 604)
TCP: 4675 (estab 485, closed 4183, orphaned 0, synrecv 0, timewait 4183/0), ports 2768

三、Node.js 的行程調優

Node.js 靠事件驅動異步處理 I/O,開箱就能應付大量連線,這裡主要討論行程層面。

讓 Node 跑在多核心上

Node 是單執行緒的,不會自動使用多核心,應用因此拿不到伺服器的全部算力。解法是讓應用 fork 出多個行程,在同一個埠上收資料,把負載分散到各核心。Node 內建的 cluster 模組提供了必要工具,若要省事,Express 專案可以考慮 eBay 的 cluster2 模組。

避免上下文切換

執行多個行程時,要確保每個 CPU 核心在同一時間只忙一個行程。一般來說,若 CPU 有 N 個核心,就開 N-1 個應用行程,留一個核心給內核排程器處理其他工作,同時盡量不要在該機器上跑 Node.js 以外的任務。

我們曾經犯過一個錯:在同一台機器上部署兩個 Node.js 應用,各自都開了 N-1 個行程,結果彼此搶奪 CPU,系統負載急速攀升。即使機器是 8 核心,上下文切換造成的效能損耗依然很明顯。後來我們降低每個應用的行程數,讓它們公平分享 CPU,負載就降下來了。

請注意上圖中系統負載(藍線)如何降到 CPU 核心數(紅線)以下。既然總工作量沒有改變,效能改善只能歸因於上下文切換的減少。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved