DIV CSS 佈局教程網

JavaScript 影像處理:圖像金字塔與高斯上下採樣實作
編輯:關於JavaScript     

前言

上一篇我們講了邊緣梯度計算函式,這次來認識計算機視覺中另一個基礎工具:圖像金字塔。

什麼是圖像金字塔

圖像金字塔廣泛應用於計算機視覺。它是一個圖像集合,集合中的所有圖像都源自同一張原始圖像,並透過對原圖連續降採樣(downsampling)而取得,整體形狀就像一座塔。

常見的金字塔有兩種:

  • 高斯金字塔(Gaussian pyramid):用於向下採樣。
  • 拉普拉斯金字塔(Laplacian pyramid):用於從金字塔底層重建上層未採樣的圖像。

高斯金字塔

顧名思義,高斯金字塔從底層的原始圖開始逐層向下採樣,越往上越小。

如何取得下一層?兩個步驟:先與高斯內核做卷積,再把所有偶數行與偶數列刪掉。如此一來,下一層的像素數量約為上一層的四分之一。

那麼如何放大回上一層?先把圖片的行與列擴展為原來的兩倍,新增的位置填 0,最後再用同一個高斯內核乘以 4 之後做卷積。乘 4 是為了補回插值時損失的能量。

高斯金字塔的實作(pyrDown)

var pyrDown = function(__src, __dst){
__src || error(arguments.callee, IS_UNDEFINED_OR_NULL/* {line} */);
if(__src.type && __src.type == "CV_RGBA"){
var width = __src.col,
height = __src.row,
dWidth = ((width & 1) + width) / 2,
dHeight = ((height & 1) + height) / 2,
sData = __src.data,
dst = __dst || new Mat(dHeight, dWidth, CV_RGBA),
dstData = dst.data;
var withBorderMat = copyMakeBorder(__src, 2, 2, 0, 0),
mData = withBorderMat.data,
mWidth = withBorderMat.col;
var newValue, nowX, offsetY, offsetI, dOffsetI, i, j;
var kernel = [1, 4, 6, 4, 1,
, 16, 24, 16, 4,
, 24, 36, 24, 6,
, 16, 24, 16, 4,
, 4, 6, 4, 1
];
for(i = dHeight; i--;){
dOffsetI = i * dWidth;
for(j = dWidth; j--;){
for(c = 3; c--;){
newValue = 0;
for(y = 5; y--;){
offsetY = (y + i * 2) * mWidth * 4;
for(x = 5; x--;){
nowX = (x + j * 2) * 4 + c;
newValue += (mData[offsetY + nowX] * kernel[y * 5 + x]);
}
}
dstData[(j + dOffsetI) * 4 + c] = newValue / 256;
}
dstData[(j + dOffsetI) * 4 + 3] = mData[offsetY + 2 * mWidth * 4 + (j * 2 + 2) * 4 + 3];
}
}
}else{
error(arguments.callee, UNSPPORT_DATA_TYPE/* {line} */);
}
return dst;
};

其中這兩行是計算目標尺寸:

dWidth = ((width & 1) + width) / 2,
dHeight = ((height & 1) + height) / 2

這裡的 a & 1 等同於 a % 2,也就是求除以 2 的餘數。加上這個餘數再除以 2 並取整,等於「無條件進位」的除法,可確保奇數尺寸也能正確計算。

值得說明的是,這裡並沒有照著「先卷積、再刪掉偶數行列」的教科書步驟實作——那樣做會浪費大量計算。取而代之的做法是直接建立一個原矩陣四分之一大小的目標矩陣,並在卷積時跳過那些本來要被刪掉的行與列,效果相同但快得多。

放大:pyrUp

up 的做法同理,直接建立兩倍大的矩陣後卷積。由於插入的零值位置必然為 0,實際卷積時內核有一部分元素會被跳過,這也是為什麼迴圈邊界寫成 2 + (i & 1) 這種看似奇怪的形式——它是依據目前所在的行/列是偶數或奇數,決定要取用內核的哪幾個係數。

var pyrUp = function(__src, __dst){
__src || error(arguments.callee, IS_UNDEFINED_OR_NULL/* {line} */);
if(__src.type && __src.type == "CV_RGBA"){
var width = __src.col,
height = __src.row,
dWidth = width * 2,
dHeight = height * 2,
sData = __src.data,
dst = __dst || new Mat(dHeight, dWidth, CV_RGBA),
dstData = dst.data;
var withBorderMat = copyMakeBorder(__src, 2, 2, 0, 0),
mData = withBorderMat.data,
mWidth = withBorderMat.col;
var newValue, nowX, offsetY, offsetI, dOffsetI, i, j;
var kernel = [1, 4, 6, 4, 1,
, 16, 24, 16, 4,
, 24, 36, 24, 6,
, 16, 24, 16, 4,
, 4, 6, 4, 1
];
for(i = dHeight; i--;){
dOffsetI = i * dWidth;
for(j = dWidth; j--;){
for(c = 3; c--;){
newValue = 0;
for(y = 2 + (i & 1); y--;){
offsetY = (y + ((i + 1) >> 1)) * mWidth * 4;
for(x = 2 + (j & 1); x--;){
nowX = (x + ((j + 1) >> 1)) * 4 + c;
newValue += (mData[offsetY + nowX] * kernel[(y * 2 + (i & 1 ^ 1)) * 5 + (x * 2 + (j & 1 ^ 1))]);
}
}
dstData[(j + dOffsetI) * 4 + c] = newValue / 64;
}
dstData[(j + dOffsetI) * 4 + 3] = mData[offsetY + 2 * mWidth * 4 + (((j + 1) >> 1) + 2) * 4 + 3];
}
}
}else{
error(arguments.callee, UNSPPORT_DATA_TYPE/* {line} */);
}
return dst;
};

這裡的 (i + 1) >> 1 是位元運算版的無條件進位除法,與前面 a & 1 的技巧同一思路,都是為了避開除法與取餘數的額外成本。

效果圖

整體而言,金字塔是許多影像應用(多尺度偵測、影像拼接、特徵匹配)的前置步驟。理解「降採樣要模糊再抽點、升採樣要補零再模糊」這組對稱關係,實作時就不容易把順序弄錯——順序顛倒會直接產生嚴重的鋸齒與失真。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved