DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁腳本 >  >> HTML基礎知識 >> HTML5教程
瀏覽器裡的人臉辨識:HTML5 加上 OpenCV 的實作思路
編輯:HTML5教程     

把鏡頭畫面丟進瀏覽器,即時框出人臉、甚至追蹤眼睛位置,聽起來像專案功能,其實純網頁也能做到。早期有個很有名的示範網站,只要開啟 Chrome 的 MediaStream 旗標,打開頁面允許使用攝影機,畫面上就會出現一副眼鏡,你搖頭晃腦,眼鏡就跟著你的臉移動、自動戴上。

當時的啟用方式是在網址列輸入 about:flags,找到「啟用 MediaStream」並按啟用,重啟瀏覽器後再前往示範頁即可。今天主流瀏覽器已全面支援 getUserMedia,這道手續不再需要,但底層原理沒變。

架構:瀏覽器取流,伺服器辨識

另一種更完整的做法是把它拆成三層:瀏覽器用 WebRTC 負責取流與顯示,影像幀透過 WebSocket 送到後端,後端用 OpenCV 跑 Haar 分類器完成偵測,再把結果畫回來推給前端,整個服務架在 Jetty 上。這樣的分工把運算密集的部分放在伺服器,前端壓力小,也方便替換辨識模型。

除了臉型框,模型換成眼睛的訓練資料後,還能進一步標出眼睛位置。

前端:把串流抄進 Canvas

頁面上並排放一個 video 與一個 canvas,video 負責播,canvas 負責被截圖送出去:

<div>
<video id="live" width="320" height="240" autoplay style="display: inline;"></video>
<canvas width="320" id="canvas" height="240" style="display: inline;"></canvas>
</div>

<script type="text/javascript">
var video = $("#live").get()[0];
var canvas = $("#canvas");
var ctx = canvas.get()[0].getContext('2d');

navigator.webkitGetUserMedia("video",
  function (stream) {
    video.src = webkitURL.createObjectURL(stream);
  },
  function (err) {
    console.log("Unable to get video stream!")
  }
);

timer = setInterval(
  function () {
    ctx.drawImage(video, 0, 0, 320, 240);
  }, 250);
</script>

這裡每 250 毫秒才抄一幀,是刻意的取捨:辨識本身耗時,幀率太高只會讓佇列堆積,反而延遲更明顯。

後端:Haar 分類器找出人臉

核心邏輯不長,重點在幾個參數的意義:

public class FaceDetection {

  private static final String CASCADE_FILE = "resources/haarcascade_frontalface_alt.xml";

  private int minsize = 20;      // 最小偵測尺寸,過小容易誤判
  private int group = 0;
  private double scale = 1.1;    // 每次縮放比例,越小越準也越慢

  public byte[] convert(byte[] imageData) throws IOException {
    // 由位元組還原成影像
    IplImage originalImage = cvDecodeImage(
      cvMat(1, imageData.length, CV_8UC1, new BytePointer(imageData)));

    // 轉灰階,辨識一律在灰階上做
    IplImage grayImage = IplImage.create(
      originalImage.width(), originalImage.height(), IPL_DEPTH_8U, 1);
    cvCvtColor(originalImage, grayImage, CV_BGR2GRAY);

    CvMemStorage storage = CvMemStorage.create();
    CvHaarClassifierCascade cascade =
      new CvHaarClassifierCascade(cvLoad(CASCADE_FILE));

    // 偵測
    CvSeq faces = cvHaarDetectObjects(grayImage, cascade, storage, scale, group, minsize);

    // 把找到的臉框成黃色矩形
    for (int i = 0; i < faces.total(); i++) {
      CvRect r = new CvRect(cvGetSeqElem(faces, i));
      cvRectangle(originalImage, cvPoint(r.x(), r.y()),
        cvPoint(r.x() + r.width(), r.y() + r.height()),
        CvScalar.YELLOW, 1, CV_AA, 0);
    }

    // 轉回位元組
    ByteArrayOutputStream bout = new ByteArrayOutputStream();
    BufferedImage imgb = originalImage.getBufferedImage();
    ImageIO.write(imgb, "png", bout);
    return bout.toByteArray();
  }
}

幾個實務上會踩到的細節:minsize 設太小會把門把、插座都當成人臉;scale 調小雖然準確,但運算量線性上升;灰階化是必要步驟,因為分類器只在單通道上訓練。另外,若要把這個範例搬到今天的瀏覽器,webkitGetUserMedia 與 webkitURL 都已改成標準的 navigator.mediaDevices.getUserMedia 與 URL.createObjectURL,且必須在 https 下執行。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved