Willkommen auf unserem Seminar-Blog

Immer auf dem aktuellen Stand bleiben

Dieser Seminar-Blog befindet sich noch im Aufbau und wird in den kommenden Tagen entsprechend verfeinert.

Member Login

Lost your password?

Registration is closed

Sorry, you are not allowed to register by yourself on this site!

You must either be invited by one of our team member or request an invitation by email at viad.info {at} zhdk {dot} ch.

Processing 05

Processing 05

In diesem Tutorial werden wir uns mit OpenCV beschäftigen. OpenCV (Wikipedia) ist eine Sammlung von Computer Vision Algorithmen, welche von Intel initiiert wurde. Sie beinhaltet einige interessante Funktionen, welche wir uns zu Nutze machen können. Dazu gehören neben den schon gelernten Funktionen (Background Subtraction, Brightest Point) auch Funktionen zum erkennen von Gesichtern oder dem Hervorheben von Kanten in einem Bild. Die von uns genutzte Implementierung von OpenCV wurde von Greg Bordstein extra für Processing adaptiert. Sie bietet nicht die komplette Vielfalt der Möglichkeiten mit OpenCV, ist aber ein guter Startpunkt und für die meisten Projekte mehr als ausreichend. Die Library gibt es hier als Download: OpenCV for Processing

Struktur

Die grundlegende Struktur von OpenCV for Processing ist sehr einfach. 1.Library importieren import gab.opencv.*; 2.OpenCV deklarieren OpenCV opencv; 3.OpenCV initialisieren opencv = new OpenCV(this, width, height); 4.Bild an OpenCV übergeben opencv.loadImage(video); 5.OpenCV Funktionen ausführen opencv.updateBackground(); Eine grosse Anzahl von Beispielen kommt mit der Library und es wird empfohlen sich diese einmal genauer anzusehen. In den folgenden Beispielen werden die vier wichtigsten Funktionen der Library vorgestellt.

Background Subtraction

Beispiel "P05_1_OpenCV_BackgroundSubtraction" zeigt, wie ein Hintergrundbild mit einem Vordergrundbild verglichen wird. Dazu übergeben wir im setup() nach der Initialisierung der Library mit dem Befehl opencv.startBackgroundSubtraction(5, 3, 0.5); drei Parameter. Im draw() lesen wir zunächst unser Video-Bild ein und übergeben dieses dann an OpenCV opencv.loadImage(video);. Mit dem Befehl opencv.updateBackground(); sagen wir OpenCV, dass der Hintergrund aktualisiert werden soll und nehmen die Funktionen opencv.dilate(); und opencv.erode(); um etwaige Löcher in der Erkennung zu schliessen. Schliesslich lassen wir uns alle gefundenen Konturen (Bewegung) darstellen for (Contour contour : opencv.findContours()) { contour.draw(); } Alle Regionen, welche auf dem folgenden Bild in Rot dargestellt sind, haben sich in den letzten Frames verändert. Processing_05_2

Brightest Point

Die Methode um den hellsten Punkt in einem Bild zu finden wurde in Beispiel "P04_6_Video_Kamerabild_Hellster_Punkt" schon besprochen. Mit OpenCV können wir viel einfacher auf diese Methode zugreifen. Dazu rufen wir die Funktion PVector loc = opencv.max(); welche uns direkt einen PVector mit den Koordinaten des hellsten Punktes zurückgibt. In gleicher Weise können wir auch die Koordinaten des dunkelsten Punktes finden PVector loc = opencv.min(); Processing_05_1

Face Detection

Eine sehr interessante Methode in OpenCV ist das sog. Face Detection. Mit dieser Funktion können wir Gesichter in einem Bild erkennen. Beispiel "P05_3_OpenCV_FaceDetection" zeigt, wie es geht. Im setup() müssen wir OpenCV zunächst ein sog. Haar-Cascade übergeben. Dieses bestimmt, nach welchen Mustern (Gesicht, Mund, Nase, Körper, usw.) der Algorithmus suchen soll opencv.loadCascade(OpenCV.CASCADE_FRONTALFACE); Im draw() gibt uns die Funktion faces = opencv.detect(); dann ein Array vom Typ Rectangle zurück. Diese Rechtecke beschreiben die Bereiche im Bild, an welchen ein Gesicht erkannt wurde. Um die Rechtecke zu zeichnen iterieren wir durch das Array und stellen die Rechtecke dar. for (int i = 0; i < faces.length; i++) { rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height); } Processing_05_3

Region Of Interest

Eine weitere hilfreiche Funktion ist die Beschränkung von OpenCV auf einen bestimmten Bereich des Bildes. Dies ist immer dann hilfreich, wenn wir nur einen Teil des Bildes auf Veränderungen oder das Auftauchen von Gesichtern etc. überwachen wollen. Dazu rufen wir die Funktion opencv.setROI(mouseX, mouseY, roiWidth, roiHeight); Diese gibt einen rechteckigen Bereich an, welcher für OpenCV verwendet werden soll. Beispiel "P05_4_OpenCV_RegionOfInterest" gibt einen Überblick, wie diese Funktion genutzt werden kann. Processing_05_4

Aufgaben

- Verwendet das bisher gelernte Wissen um Objekte (Partikel, Bilder, SVG's) auf das Kamerabild reagieren zu lassen.

Weiteres:

- OpenCV - offizielle Homepage