在 36 小時的極客松裡做出一個「讓低頭族抬起頭互相交流」的遊戲,核心挑戰是 Lan Party 式的即時多人互動。跨平台方案我們選了 node-webkit——足夠簡單,符合當時的需求。本文記錄的是開發 Spaceroom(我們的即時多人遊戲框架)過程中遇到的真實問題,以及如何發現並繞過 Node.js 一個相當隱蔽的計時器 bug。
Spaceroom 的設計完全是需求驅動的。框架需要提供這些基礎能力:
後期我們又補上了暫停遊戲、在各客戶端之間生成一致隨機數等功能。這些其實都能在遊戲邏輯層自行實作,並非一定要由這個偏通訊層的框架負責。
Spaceroom 分為前後端兩部分。服務端負責維護房間列表,提供建立與加入房間的能力。客戶端 API 大致如下:
spaceroom.connect(address, callback) // 連接伺服器 spaceroom.createRoom(callback) // 建立一個房間 spaceroom.joinRoom(roomId) // 加入一個房間 spaceroom.on(event, callback) // 監聽事件
客戶端連上伺服器後會收到各式事件:新玩家加入、遊戲開始等等。我們為客戶端定義了「生命週期」,它在任何時刻都處於某個明確狀態,可透過 spaceroom.state 取得。
服務端的使用相對簡單,用預設設定檔直接跑起來即可。我們有個明確要求:服務端程式碼必須能直接跑在客戶端裡,不需要獨立伺服器——就像 PS 或 PSP 遊戲中一人開房其他人加入那樣。當然,跑在專用伺服器上也完全沒問題。
要讓各客戶端顯示的內容即時一致,關鍵問題是:伺服器到底該轉發什麼?
仔細想想,造成客戶端之間邏輯不一致的原因只有一個:玩家指令。既然跑遊戲邏輯的程式碼完全相同,那麼給定相同條件,結果必然相同。唯一的變數就是遊戲過程中收到的指令序列。所以只要保證所有客戶端拿到同樣的指令,理論上就會有同樣的執行結果。
我們採用的方案類似「幀鎖定」(lockstep)的概念。把時間軸切成一個個區間,每個區間稱為一個 bucket。bucket 用來裝載指令,由伺服器維護。在每個 bucket 時間段結束時,伺服器把它廣播給所有客戶端,客戶端取出指令、驗證後執行。
為了降低網路延遲的影響,伺服器收到的每個指令會依下列步驟投遞:
order_start 為指令攜帶的發生時間,t 為該時間所在 bucket 的起始時間。t + delay_time <= 當前正在收集指令的 bucket 起始時間,就把指令投進當前 bucket;否則進入下一步。t + delay_time 對應的 bucket 中。其中 delay_time 是約定的伺服器延遲時間,可取客戶端之間的平均延遲,Spaceroom 預設為 80;bucket 長度預設為 48(毫秒)。在每個 bucket 結束時伺服器廣播並開始收集下一個 bucket 的指令,客戶端則依收到的 bucket 間隔自動對時,把時間誤差控制在可接受範圍內。
具體來說:正常情況下客戶端每 48ms 會收到一個 bucket。若 FPS = 60,大約每 3 幀收到一次,用它來更新邏輯。若因網路波動超時仍未收到,客戶端就暫停遊戲邏輯並等待。在單一 bucket 內的時間,邏輯更新可用 lerp(線性插值)平滑過渡。
代價是延遲:delay_time = 80、bucket_size = 48 時,任一指令最少被延遲 96ms 執行;若改成 60 / 32,則最少延遲 64ms。這是本質上的權衡——延遲換一致性。
整個框架需要一個能精準定時的計時器,在固定 interval 下廣播 bucket。
第一次嘗試:setInterval。我們很快放棄了——它的誤差非常嚴重,而且每次誤差都會累積,越跑越歪。
第二次嘗試:setTimeout 動態修正。本次比預期少了 5ms,下次就提前 5ms。聽起來合理,實測結果不盡人意,而且這樣寫實在算不上優雅。
第三次嘗試:忙碌等待。讓 setTimeout 盡快到期,然後自行檢查時間是否到達目標。用 setTimeout(callback, 1) 不斷輪詢,看起來是個不錯的主意。
我們寫了段程式碼驗證(Node.js v0.10.32,Windows 平台):
var sum = 0, count = 0;
function test() {
var now = Date.now();
setTimeout(function () {
var diff = Date.now() - now;
sum += diff;
count++;
test();
});
}
test();
跑一陣子後在 console 輸入 sum / count:
> sum / count 15.624555160142348
我們要 1ms 的間隔,它卻給出平均 15.625ms。同樣的測試在 Mac 上得到的是 1.4ms。
15.625 這個數字眼熟得可疑——它實在太像 Windows 下的最大計時器間隔了。下載 ClockRes 一測,果然:
Maximum timer interval: 15.625 ms Minimum timer interval: 0.500 ms Current timer interval: 1.001 ms
Node.js 手冊對 setTimeout 的描述其實早就寫了:
The actual delay depends on external factors like OS timer granularity and system load.
但實測顯示這個「實際延遲」直接錨定在最大計時器間隔上——即使系統當前間隔只有 1.001ms。這就無法接受了。
從 event loop 主循環看起:
while (r != 0 && loop->stop_flag == 0) {
uv_update_time(loop); /* 更新全域時間 */
uv_process_timers(loop); /* 檢查計時器是否到期並執行回呼 */
if (loop->pending_reqs_tail == NULL &&
loop->endgame_handles == NULL) {
uv_idle_invoke(loop); /* 防止 event loop 退出 */
}
uv_process_reqs(loop);
uv_process_endgames(loop);
uv_prepare_invoke(loop);
(*poll)(loop, /* ... */); /* 收集 IO 事件 */
uv_check_invoke(loop); /* setImmediate() 等 */
r = uv__loop_alive(loop);
if (mode & (UV_RUN_ONCE | UV_RUN_NOWAIT))
break;
}
uv_update_time 的實作:
void uv_update_time(uv_loop_t* loop) {
/* 獲取當前系統時間 */
DWORD ticks = GetTickCount();
/* ... */
if (ticks < time->LowPart) {
time->HighPart += 1;
}
time->LowPart = ticks;
}
它用了 Windows 的 GetTickCount()。流程是:呼叫 setTimeout 後,內部的 timer->due 被設為當前 loop 時間加上 timeout;event loop 每輪先用 uv_update_time 更新時間,再由 uv_process_timers 檢查是否到期。
而 poll 函式在 Windows 下的實作:
static void uv_poll(uv_loop_t* loop, int block) {
DWORD bytes, timeout;
if (block) {
timeout = uv_get_poll_timeout(loop); /* 取出最近一個計時器的過期時間 */
} else {
timeout = 0;
}
GetQueuedCompletionStatus(loop->iocp, &bytes, &key, &overlapped,
timeout); /* 最多阻塞到下個計時器到期 */
if (overlapped) {
uv_insert_pending_req(loop, uv_overlapped_to_req(overlapped));
} else if (GetLastError() != WAIT_TIMEOUT) {
uv_fatal_error(GetLastError(), "GetQueuedCompletionStatus");
}
}
也就是說:設定 timeout = 1ms 的計時器,poll 最多阻塞 1ms 後恢復,接著 uv_update_time 更新時間、uv_process_timers 判定到期並執行回呼。問題只可能出在兩處:時間沒被正確更新,或者那 1ms 的等待出了問題。
查 MSDN 對 GetTickCount 的描述:
The resolution of the GetTickCount function is limited to the resolution of the system timer, which is typically in the range of 10 milliseconds to 16 milliseconds.
答案就在這裡。假設 poll 確實阻塞了 1ms,但下一次 uv_update_time 執行時,GetTickCount 還沒更新,loop 的當前時間也就沒變。於是計時器沒被判為過期,poll 又等 1ms,再進一輪 event loop……直到 GetTickCount 終於更新(約每 15.625ms 一次),計時器才被判定到期。
Node.js 用了一個精度粗糙的時間函式,而且沒有做任何補償處理。
既然我們用的是 node-webkit,除了 Node.js 的 setTimeout,手上還有 Chromium 的版本可用。寫了個測試頁跑一下,結果如下:
依 HTML5 規範,理論上前 5 次應為 1ms、之後為 4ms。實測有一定誤差,而且能拿到的最小理論值是 4ms。雖然不完美,但比 Node.js 的 15.6ms 好太多了。
翻 Chromium 原始碼可以發現:它在確定 loop 當前時間時用的是 timeGetTime(),這個函式的精度受系統當前 timer interval 影響,理論上就是 1.001ms。但 Windows 預設情況下 timer interval 是其最大值(15.625ms),除非應用程式主動修改全域設定。
further 查下去發現,當有計時器且 timeout < 32ms 時,Chromium 會主動更改系統的全域計時器間隔:
void Time::EnableHighResolutionTimer(bool enable) {
base::AutoLock lock(g_high_res_lock.Get());
if (g_high_res_timer_enabled == enable)
return;
g_high_res_timer_enabled = enable;
if (!g_high_res_timer_count)
return;
if (enable) {
timeEndPeriod(kMinTimerIntervalLowResMs);
timeBeginPeriod(kMinTimerIntervalHighResMs);
} else {
timeEndPeriod(kMinTimerIntervalHighResMs);
timeBeginPeriod(kMinTimerIntervalLowResMs);
}
}
其中 kMinTimerIntervalLowResMs = 4、kMinTimerIntervalHighResMs = 1。timeBeginPeriod 與 timeEndPeriod 是 Windows 提供的系統計時器間隔調整函式。也就是說:接電源時最小 interval 是 1ms,用電池時是 4ms(由 HighResolutionTimerManager 依電源狀態決定)。由於我們的迴圈不斷呼叫 setTimeout,依 W3C 規範最小間隔也是 4ms,所以這點影響不大。
實測顯示 setTimeout 的間隔並不穩定在 4ms,而是在 4ms 上下波動;48ms 的測試也在 48 與 49ms 之間跳動。原因是 event loop 中等待 IO 事件的那個 Windows 函式呼叫,其精度同樣受系統計時器影響。
遊戲邏輯需要 requestAnimationFrame 持續更新畫布,而它需要一個 16ms 的計時器,這反而觸發了高精度計時器的要求,把系統 interval 至少設為 4ms。測試機接電源時 interval 是 1ms,因此有 ±1ms 誤差。若系統計時器間隔未被任何程式修改,跑那個 48ms 測試,最大值可能達到 48 + 16 = 64ms。
基於這些數據,我們設計了這個迴圈:
/* Get the max interval deviation */
var deviation = getMaxIntervalDeviation(bucketSize);
// bucketSize = 48, deviation = 2
function gameLoop() {
var now = Date.now();
if (previousBucket + bucketSize <= now) {
previousBucket = now;
doLogic();
}
if (previousBucket + bucketSize - Date.now() > deviation) {
// 先等 46ms,即使發生最大誤差,實際間隔仍小於 48ms
setTimeout(gameLoop, bucketSize - deviation);
} else {
// 剩下的時間忙碌等待
// 用 setImmediate 而非 process.nextTick,因為後者會阻塞 IO 事件
setImmediate(gameLoop);
}
}
思路是:先等待一個「略小於 bucket_size」的時間,讓最壞情況下的實際間隔仍落在 48ms 以內;剩下的零頭用忙碌等待補齊。用 Chromium 的 setTimeout 實作,setTimeout(fn, 1) 的誤差可控制在 4ms 左右,setTimeout(fn, 48) 可控制在 1ms 左右。
但這顯然不夠優雅。我們最初的要求是服務端程式碼必須能脫離 node-webkit、直接跑在有 Node.js 環境的機器上。若直接跑上面的程式,deviation 至少是 16ms——每個 48ms 週期裡要忙等 16ms,CPU 使用率自然一路飆升。
這麼大的 bug,難道沒人發現?答案讓我們喜出望外:它在 v0.11.3 已被修復。查看 libuv master 分支可以看到修改方式——在 poll 函式等待完成之後,把 loop 的當前時間加上一個 timeout。這樣即使 GetTickCount 沒反應過來,經過 poll 的等待之後也已經把這段時間補上了,計時器就能順利到期。
不過努力沒有白費。即使消除了 GetTickCount 的影響,poll 函式本身仍受系統計時器影響。根本解法之一是撰寫 Node.js 原生插件,主動調整系統計時器間隔。
考量到我們這次的遊戲初步設定沒有獨立伺服器——客戶端建立房間後就成為伺服器,而服務端程式碼跑在 node-webkit 環境中——Windows 計時器問題的優先級並不最高。上述方案的效果已足夠令人滿意。
計時器問題解決後,框架實作基本再無障礙。我們提供了 WebSocket 支援(純 HTML5 環境),也自訂了通訊協定以取得更好的效能(node-webkit 環境)。
功能上,Spaceroom 起初相當簡陋,但隨著需求浮現逐步補齊。例如發現遊戲需要生成一致隨機數時,我們就在遊戲開始時由 Spaceroom 分發隨機數種子,客戶端再利用 md5 的隨機性、憑藉種子產生一致結果。
第一,計時精度是有平台差異的,不能靠文件措辭推測。「取決於作業系統計時器粒度」這句話背後是 15.6ms 的實際落差。任何依賴精確節奏的功能,都應該實測而非假設。
第二,誤差會累積的機制比單次誤差更危險。這正是 setInterval 不適合遊戲迴圈的原因,而「等待略短的時間 + 補齊零頭」這個模式,能讓誤差始終被約束在單一週期內。
第三,遇到反直覺的效能或精度現象,往下翻一層原始碼往往比換方案更快得到答案。我們最初想換掉計時器,最後卻是讀懂 event loop 與平台 API 才定位到根因——順便還發現官方已在下一版修掉了它。
寫這麼一個框架的過程裡學到很多。如果你對 Spaceroom 有興趣,也歡迎一起參與。