把鏡頭畫面丟進瀏覽器,即時框出人臉、甚至追蹤眼睛位置,聽起來像專案功能,其實純網頁也能做到。早期有個很有名的示範網站,只要開啟 Chrome 的 MediaStream 旗標,打開頁面允許使用攝影機,畫面上就會出現一副眼鏡,你搖頭晃腦,眼鏡就跟著你的臉移動、自動戴上。

當時的啟用方式是在網址列輸入 about:flags,找到「啟用 MediaStream」並按啟用,重啟瀏覽器後再前往示範頁即可。今天主流瀏覽器已全面支援 getUserMedia,這道手續不再需要,但底層原理沒變。
另一種更完整的做法是把它拆成三層:瀏覽器用 WebRTC 負責取流與顯示,影像幀透過 WebSocket 送到後端,後端用 OpenCV 跑 Haar 分類器完成偵測,再把結果畫回來推給前端,整個服務架在 Jetty 上。這樣的分工把運算密集的部分放在伺服器,前端壓力小,也方便替換辨識模型。

除了臉型框,模型換成眼睛的訓練資料後,還能進一步標出眼睛位置。

頁面上並排放一個 video 與一個 canvas,video 負責播,canvas 負責被截圖送出去:
<div>
<video id="live" width="320" height="240" autoplay style="display: inline;"></video>
<canvas width="320" id="canvas" height="240" style="display: inline;"></canvas>
</div>
<script type="text/javascript">
var video = $("#live").get()[0];
var canvas = $("#canvas");
var ctx = canvas.get()[0].getContext('2d');
navigator.webkitGetUserMedia("video",
function (stream) {
video.src = webkitURL.createObjectURL(stream);
},
function (err) {
console.log("Unable to get video stream!")
}
);
timer = setInterval(
function () {
ctx.drawImage(video, 0, 0, 320, 240);
}, 250);
</script>
這裡每 250 毫秒才抄一幀,是刻意的取捨:辨識本身耗時,幀率太高只會讓佇列堆積,反而延遲更明顯。
核心邏輯不長,重點在幾個參數的意義:
public class FaceDetection {
private static final String CASCADE_FILE = "resources/haarcascade_frontalface_alt.xml";
private int minsize = 20; // 最小偵測尺寸,過小容易誤判
private int group = 0;
private double scale = 1.1; // 每次縮放比例,越小越準也越慢
public byte[] convert(byte[] imageData) throws IOException {
// 由位元組還原成影像
IplImage originalImage = cvDecodeImage(
cvMat(1, imageData.length, CV_8UC1, new BytePointer(imageData)));
// 轉灰階,辨識一律在灰階上做
IplImage grayImage = IplImage.create(
originalImage.width(), originalImage.height(), IPL_DEPTH_8U, 1);
cvCvtColor(originalImage, grayImage, CV_BGR2GRAY);
CvMemStorage storage = CvMemStorage.create();
CvHaarClassifierCascade cascade =
new CvHaarClassifierCascade(cvLoad(CASCADE_FILE));
// 偵測
CvSeq faces = cvHaarDetectObjects(grayImage, cascade, storage, scale, group, minsize);
// 把找到的臉框成黃色矩形
for (int i = 0; i < faces.total(); i++) {
CvRect r = new CvRect(cvGetSeqElem(faces, i));
cvRectangle(originalImage, cvPoint(r.x(), r.y()),
cvPoint(r.x() + r.width(), r.y() + r.height()),
CvScalar.YELLOW, 1, CV_AA, 0);
}
// 轉回位元組
ByteArrayOutputStream bout = new ByteArrayOutputStream();
BufferedImage imgb = originalImage.getBufferedImage();
ImageIO.write(imgb, "png", bout);
return bout.toByteArray();
}
}
幾個實務上會踩到的細節:minsize 設太小會把門把、插座都當成人臉;scale 調小雖然準確,但運算量線性上升;灰階化是必要步驟,因為分類器只在單通道上訓練。另外,若要把這個範例搬到今天的瀏覽器,webkitGetUserMedia 與 webkitURL 都已改成標準的 navigator.mediaDevices.getUserMedia 與 URL.createObjectURL,且必須在 https 下執行。