網路上採用 Chunked 編碼的網站其實不算多,比較常見的是啟用了 GZip 壓縮的站點,例如 google.com,還有一大部分開啟了 GZip 的 PHP 論壇。
依我的理解,Chunked 編碼最大的好處在於:程式的運算過程中可以「動態輸出」內容。舉例來說,某個操作要在後台跑一小時,但你不想讓使用者乾等一小時才看到任何東西。這時就可以用 Chunked 把內容分塊送出,使用者隨時都能收到最新的處理結果。
ASP 關閉緩存輸出(Response.Buffer = false)時,走的就是 Chunked 編碼;而每一次 Response.Write 都會形成一個 chunk,所以不要寫得太頻繁,否則 chunk 數量太多,額外的開銷反而浪費頻寬。想深入了解 Chunked 的實際編碼結構,用 ASP 關掉緩存來除錯是個不錯的切入方式。
Chunked-Body = *chunk
last-chunk
trailer
CRLF
chunk = chunk-size [ chunk-extension ] CRLF
chunk-data CRLF
chunk-size = 1*HEX
last-chunk = 1*("0") [ chunk-extension ] CRLF
chunk-extension = *( ";" chunk-ext-name [ "=" chunk-ext-val ] )
chunk-ext-name = token
chunk-ext-val = token | quoted-string
chunk-data = chunk-size(OCTET)
trailer = *(entity-header CRLF)
把它模擬成實際的資料結構,大致就是:
[Chunk大小][回車][Chunk資料][回車][Chunk大小][回車][Chunk資料][回車][0][回車]
要注意 chunk-size 是以十六進位的 ASCII 表示,例如看到 86AE(實際的十六進位位元組是 38366165),換算成長度就是 34478,代表回車之後連續有 34478 個位元組的資料。
我追蹤過 www.yahoo.com 的回應,發現 chunk-size 之中還會夾帶空格,看起來是固定 7 個位元組寬度、不足的以空格補齊(空格的 ASCII 是 0x20)。
length := 0 // 記錄解碼後的資料長度
read chunk-size, chunk-extension (if any) and CRLF // 第一次讀取塊大小
while (chunk-size > 0) { // 持續循環,直到塊大小為 0
read chunk-data and CRLF // 讀取塊資料,以回車結束
append chunk-data to entity-body // 把塊資料附加到解碼後的實體資料
length := length + chunk-size // 更新實體長度
read chunk-size and CRLF // 讀取下一個塊大小
}
read entity-header // 讀取全部標頭
while (entity-header not empty) {
append entity-header to existing header fields
read entity-header
}
Content-Length := length // 補上內容長度
Remove "chunked" from Transfer-Encoding // 移除 Transfer-Encoding
至於 GZip 加 Chunked 的組合編碼方式,估計是每個 chunk 各自做一次獨立壓縮,這部分等有時間再深入。
用了 Chunked,效能上自然會稍微打折,因為相較正常的資料本體多了一些額外開銷。但在某些情境下,分塊輸出是必要之舉,這也是無可奈何的取捨。