marcus mangeot

Master of Arts

wiimi



Eine interaktive Medieninstallation von Jonatan Mauser, Marcus Mangeot und Klaas Hemme

Angetrieben von der Idee, DJ und tanzende Menschen näher zusammen zu bringen und dabei auch noch die Plattenteller zu entfernen entwickelten wir eine neue Clublösung. Wir lösten das DJ-ing von den Plattentellern und transportierten das Auflegen auf eine Gestensteuerung mit der bekannten Wii-Motion Fernbedienung und dem Wii Balance-Board. Zudem setzten wir Multiple-Kamera Tracking ein um die tanzenden Menschen dieser Club-Installation auch in die Interaktion einzubinden. Entstanden ist dabei eine lebendige musikalische Surrealität, die die Grenzen zwischen Realität und Fiktion verschwimmen lässt.

Ausgangssituation

Im Rahmen der Wahlpflichtveranstaltung „Interaktive Medieninstallation“ (IMI) im Wintersemester 2008/2009 wurde als thematischer Hintergrund für alle Medieninstallationen die Interaktion mit dem Interakteur (auch als Beobachtung des Beobachters zu interpretieren) vorgegeben.

Die Idee

Während dem Nähern an die thematische Fragestellung der Veranstaltung wurde uns schnell klar, dass wir diese auf die bekannte Diskotheken- und Clubszenerie transportieren möchten. Der einhergehende Spaßfaktor sollte auch in unserer Installation seinen Platz finden und die Interakteure zum aktiven Element werden lassen. Weiterhin war uns sofort klar, dass die Installation sowohl auditive als auch visuelle Komponenten beinhalten soll und diese aktiv von den Interakteuren kontrolliert werden, so dass die Interakteure zum Instrument und damit Bestandteil der Installation werden. Entsprechend der Hauptthematik vollziehen wir eine Trennung der Interakteure analog der audio-visuellen Elemente. Somit wird der Interakteur ersten Grades das auditive Element steuern und die Interakteure zweiten Grades das visuelle Element.

Der Ablauf

In der WiiMi-Installation steht der Interakteur ersten Grades (nachfolgend auch WiiJ genannt) im Zentrum des Raumes etwas erhöht auf einem Wii-Balance-Board und hält in den Händen die bekannte Wiimote. Die Wii-Steuerelemente dienen dem WiiJ als Interface für das aktive Gestalten der Musik. Der Aktionsumfang des Interfaces adaptiert den eines konventionellen DJ-Equipments und ist daher als solches zu verstehen. Beobachter die nun in den Raum treten, der vom Interakteur beschallt wird, werden sich als bald in die Nähe des Zentrums begeben um zu erschließen, wie der Interakteur ersten Grades im Stande ist die Musik abzumischen. Im gleichen Augenblick werden die Beobachter von einer HD-Video- sowie Trackingkamera erfasst und als verfremdete Visualisierung auf den Leinwänden dargestellt. Der respektive die Beobachter fungieren plötzlich als Interakteure der Installation und können somit aktiv das Geschehen beeinflussen. Je mehr Beobachter hinzu kommen, desto Umfangreicher wird die Visualisierung. Das Zusammenspiel aller Interakteure lässt den, anfänglich eher dunklen, Raum zu einem körperlichen Erlebnis audio-visueller Natur werden.

Das Raumkonzept


Als Ort der Installation dient das Media Synthesis Lab. Innerhalb des Intstallationsraumes herrscht schwaches, diffuses, Licht, welches durch Deckenscheinwerfer erzeugt wird. Es wird eine typische Disco-/Club Atmosphäre geschaffen. Im Mittelpunkt befindet sich das Wii-Balance-Board. Es wird durch ein dezentes Spotlight als zentrales Aktionsmedium gekennzeichnet. Die Leinwände sind auf Augenhöhe positioniert und die seitlichen Elemente leicht nach Innen geneigt. An der Decke befindet sich ein Beamer sowie eine Trackingkamera. Eine weitere Kamera ist seitlich an der Wand. Der Akteur befindet sich auf dem Wii-Balance-Board während sich die Beobachter frei im Raum bewegen.

Der Interakteur das Motion-Tracking

Wie weiter oben beschrieben bildet der Interakteur ersten Grades das Zentrum der Raumkonstellation. Etwas erhöht durch das Wii-Balance-Board und örtlich fest verankert dominiert er durch das Abmischen der Musik die Stimmung im Raum. Damit einhergehend obliegt ihm, durch seinen Aktionsraum, die, wahrscheinlich unbewusste, Steuerung des Verhaltens der hinzu kommenden Beobachter. Der Aktionsraum des WiiJ‘s wird durch die Möglichkeiten bzw. den Funktionsumfang der ihm zur Verfügung stehenden Interfaces definiert.

Wie auf nachfolgender Abbildung zu erkennen, werden typische Funktionen über die Tasten der Wiimotes angesteuert. Die Bewegung der Wiimotes ermöglichen weitere Funktionen. So wird z.B. der nächste bzw. der vorherige Track einer Playliste durch hochreißen der jeweiligen Wiimote realisiert. Die Bewegung auf der z-Achse ermöglicht weitere Funktionen, wie z.B. Snap Beat oder auch das bekannte Scratchen. Diese Funktionen sind mit Schwellwerten hinterlegt worden, damit keine zufällige Ausführung passieren kann. Die Rotationsbewegung der Wiimotes werden durch festhalten der jeweiligen A-Taste entsperrt. So aktiviert die eine A-Taste das Manipulieren der Deck-Lautstärke und die andere das Crossfaden zwischen beiden Decks. Eine besondere Herausforderung stellte sich uns durch das BalanceBoard. Das Board sendet ununterbrochen, auch wenn niemand auf dem Board steht Werte, die es zu interpretieren galt. Eine weitere Problematik ergibt sich durch die Nutzung verschiedener Menschen mit unterschiedlichen Körpergewichten. Daher haben wir das Board so gescriptet, dass es bei jeder neuen Person zunächst einmal auf das entsprechende Gewicht der Person, durch einfaches drücken einer Taste auf der Wiimote, tariert wird. Dadurch können sich unterschiedliche Personen auf das Board stellen und allesamt mit der gleichen Präzision bedienen. Nach Feedbackgesprächen mit DJs haben wir die Funktion des Hoch-/Tiefpassfilters sowie Balance dem BalanceBoard zugewiesen.

Für eine weitere Anpassung des Funktionsumfangs ist das Zuschalten weiterer Effekte denkbar: Flanger, Echo, Hall, Chorus, Delay, Limiter

Die Beobachter das Kamera-Tracking

Zentraler Bestandteil der Installation ist neben dem Interakteur, der Beobachter welcher sich im Raum befindet. In der Medieninstallation WiiMi wird der Beobachter zum Interakteur. Alle Zuschauer im Raum werden von einer Kamera, einem virtuellen Auge von der Decke des Raumes beobachtet. Dies geschieht für den Beobachter unwissend. Er wird in keiner Weise auf dieses virtuelle Auge hingewiesen. Die gesammelten Daten werden Ausgewertet und so die Position jedes Einzelnen im Raum bestimmt. Die Koordinaten die so gewonnen werden, sind Bestandteil der zweiten Ebene der Visualisierung auf den drei Leinwänden.

Neben der Overhead-Kamera wird ein weiteres Auge seitlich positioniert und nimmt die Interakeure auf Hüfthöhe auf. Das so entstehende Gesamtbild der Installation ist Bestandteil der ersten Ebene der Visualisierung.

Das Ergebnis die Projektion

Während der Akteur unter Anwendung der Wii-Technologie auditive Signale steuert erzeugen die Beobachter bewußt oder unbewußt durch ihre Bewegungen im Raum das visuelle Installationselement. Durch die Tracking-Kamera, welche sich an der Decke befindet, wird die Position der Beobachter im Raum erkannt und ausgehend von Ihrem Standort werden Kreise aus Licht erzeugt, die sich unter dem Einfluß der vom Akteur erzeugten Basstöne radial vom Beobachter ausbreiten, welcher somit zum Interakteur wird. Desweiteren werden von der seitlich angebrachten Kamera Vergleichsbilder erzeugt, welche die Bewegungen der Interakteure als abstrakte Schlierenbewegungen entsprechend der getrackten Raumposition auf der Leinwand projeziert werden. Je mehr sich die Interakteure bewegen, desto stärker und nachhaltiger erscheint die Projektion. Bewegt sich keiner der Beobachter so ist durch die Berechnung der Vergleichsbilder ausschließlich der Akteur zu sehen, der somit jedoch als Animateur fungiert, da seine Bewegungen, die durch die Handhabung der Wii-Motes entstehen, auf der Leinwand zu sehen sind. Dieses stellt die erste ebene der Visualisierung dar. Zusätzlich können die Schlierenbewegungen durch bestimmte erzeugte Audiosignale des Akteurs skaliert, zum Pulsieren gebracht, etc. werden, welches die zweite Ebene der Visualisierung darstellt.

Technische Umsetzung des auditiven Moduls das WiiJ’ing

Die Umsetzung des auditiven Moduls wird auf einem Windows XP System realisiert. Mittels eines Bluetooth Sticks wird die physikalische Verbindung zwischen Wiimote, Balance-Board und dem PC hergestellt. Für die Bluetooth-Verbindung zwischen PC und Interface sind weiterhin der Widcomm Stack der Firma MSI sowie die Bluetooth Software BlueSoleil notwendig. Damit die Interfaces als Midi-Geräte genutzt und gemappt werden können, muss auf dem System ein virtuelles internes Midi-Gerät installiert werden. Realisiert wird dies mittels dem Midi-Port „LoopBe1“. Damit die Signale letztlich bei einem beliebigen Soundprogramm ankommen, muss eine Zuweisung der Midi-Signale stattfinden. Die wird mittels der Software Midi-OX und Midi-Yoke realisiert. Für die endgültige Zuweisung der Interface-Funktionen wird zudem noch die Software GlovePie dienen. Bei der Wahl des Soundprogramms fiel die Entscheidung zunächst auf Ableton Live.

Während der Realisierung mit Ableton Live mussten wir erkennen, dass sich das Programm bestens eignen würde, live Musik zu komponieren sich jedoch für das Auflegen mit den Wii-Interfaces nur als bedingt sinnvoll erwies. Nach etwas Recherche und Feedback einiger aktiver DJs schwenkten wir um auf die DJ-Software Traktor, die das Auflegen mit konventionellen Plattentellern sowie Mischpult simuliert. Wie auch unter Ableton Live war es uns möglich hier mit den Wii-Interfaces zu arbeiten und äußerst präzise Steuerungen zu implementieren.


Für das Scripten der Wii-Interfaces wurde GlovePie in der Version 0.30 benutzt. Zwar ist diese Version nicht ganz bugfrei, jedoch ist es die einzige, die das Wii-Balance-Board unterstützt. Leider funktioniert bei dieser Version jedoch nicht die Kombination mit der Infrarotleiste, was jedoch nicht groß zum Tragen kam und auch die Funktionsweise der Installation nicht beeinflusste.

Technische Umsetzung des visuellen Moduls die Visualisierung

Die technische Umsetzung der Visualisierung erfolgt mit der Software Max/MSP und Jitter welche um die cv.jit Objekte erweitert wurde. Diese Erweiterung ermöglicht unter anderem das Motiontracking welches wir für unsere Installation genutzt haben. Die Signale der beiden seitlich aufgestellten Kameras werden in Max/ MSP mit einer Auflösung von 720×576 eingelesen. Die Auflösung der Deckenkamera beträgt 640×480. Die eingelesenen Farbbilder werden im ersten Schritt in ein Schwarz/Weiß-Bild gewandelt um die folgenden Operationen zu ermöglichen. Anschließend werden die Bilder invertiert, dass heißt die Farbkanäle vertauscht. Nun ist es möglich im Areal befindliche Personen zu labeln und unabhängig voneinander zu behandeln. Dies erfolgt mit dem Objekt cv.jit.label in Verbindung mit dem Objekt cv.jit.blobs. Auf diese Weise ist man nun in der Lage die im Raum befindlichen Personen einzufärben wenn diese sich bewegen. Außerdem können wir den Hintergrund gesondert behandeln, dies wird mit dem erstellen eines Differenzbildes noch verstärkt.

Die Erstellung des Differenzbildes und das Einfärben der Personen sowie des Hintergrundes geschieht automatisiert und ist mit dem vom Interakteur erstellen Sound gekoppelt. Hierzu analysieren wir das erstellte Audiosignal und filtern es in Echtzeit mit einem Tiefpassfilter dessen Schwellwert bei 200Hz liegt. Die passierten Peaks lösen einen Farbwechsel und ein Wechsel des Refernzbildes aus. Der linke und der rechte Audiokanal werden gesondert betrachtet und beeinflussen das linke bzw. rechte Bild unabhängig voneinander.

In der vorangegangenen Konzeptphase war geplant, nur die Positionen der Personen im Raum zu ermitteln und ausgehend von dessen Standort, konzentrische Kreise zu zeichnen, welche sich unter dem Einfluss der vom Akteur erzeugten Basstöne radial ausbreiten. Diese Idee haben wir in unserem finalen Konzept jedoch verworfen.

Ergebnis der Testläufe die Präsentation

In den durchgeführten Testläufen zu denen wir einen aktiven DJ geladen hatten, stellte sich heraus dass es sinnvoll wäre durch z.B. einen roten Punkt darzustellen, auf welchem Deck man sich gerade befindet .Dies würde zu einer besseren Koordination des DJ´s beitragen. Außerdem wurde angedacht dass die im Raum befindlichen Beobachter durch ihre Bewegungen in der Gruppe Einfluss auf den durch den DJ gemixten Sound haben. Z.B. auf die Geschwindigkeit des aktiven Tracks oder auch die Balance des Sounds. Dies halten wir jedoch für unpraktikabel, da das akustische Ergebnis einerseits unkontrollierbar wäre und andererseits ein zu starker Eingriff in das Abmischen durch den DJ erfolgen würde, was es dem DJ quasi unmöglich machen würde sauber zu mischen.

Denkbar in diesem Zusammenhang wäre allerdings eine Auswirkung auf die Visualisierung. Wie weiter oben beschrieben, sollte die Position der Beobachter eine direkte visuelle Rückkopplung auf Ihre Position geben um diese noch aktiver ins Geschehen einbinden zu können, jedoch wurde dieser Ansatz mangels eines Deckenbeamers wieder verworfen.

Fazit

Die Installation erwies sich unserer Meinung nach, als äußerst gelungen und durchaus praktikabel für Diskotheken-, Club- oder Partysituationen. Durch den modularen Aufbau, sind die einzelnen Bausteine auch autark einsetzbar, was die vielseitige Einsatzmöglichkeit der Installation hervorhebt. Durchaus könnte z.B. das visuelle Modul benutzt werden, um einen real-comic-Film zu realisieren. Das auditive Modul kann ebenfalls eigenständig zum Einsatz kommen, jedoch setzt es, wie auch das konventionelle DJ-Equipment, ein wenig Übung mit dem Interface voraus. Abschließend bleibt uns noch zu sagen, dass wir bei der Entwicklung dieser Installation einige, teils komplexe, Hürden zu überwinden hatten, was jedoch einen enormen Lerneffekt mit sich brachte.


Feed

Comments are closed.