Autor: Maja Stark

Das vierte Meeting zu XBPMMM startete mit einem Gastvortrag vom AURORA-Developer und Medieninformatiker Leonid Barsht zum Thema Lokomotion (Fortbewegung), Interaktion und User Interface in Virtual Reality.

Bei der anschließenden Diskussion wurde klar, dass wir in nächster Zukunft wohl einige VR-Anwendungen als Referenzen für Lokomotion und Interaktion testen werden – wir halten Euch auf dem Laufenden! Für XBPMMM ist eine Kombination verschiedener Lokomotions- und Interaktionsmöglichkeiten (evtl. je nach Level des Multiplayers) geplant.

Und traraaaa: Bei diesem Meeting wurde das Unity-Projekt auf Basis der Vorarbeiten von Janne und Anton neu aufgesetzt und strukturiert. Das heißt, es kann jetzt – parallel zur Entwicklung des Storyboards/Ablaufs – allmählich mit dem Development losgehen!

Der Fokus von Storyboard und Development liegt erstmal auf dem Level 0, in dem man ankommt, und der dritten und damit letzten Szene – beides in Kombination mit den Softrobots und dem MQTT-Protokoll. Das Ziel ist dabei erstmal, den (browserbasierten) WebGL- und den VR-Multiplayer parallel zu denken und zu entwickeln.

Unser neues Expert/innenboard-Mitglied Sebastian Keppler stellte bei diesem Treffen das vom BMBF geförderte Forschungsprojekt VitraS vor, an dem er als Projektmitarbeiter beteiligt ist (Leitung an HTW: Prof. Habakuk Israel, ebenfalls Experte im Board von XR_Unites).

Der Fokus von VitraS liegt auf der Virtual-Reality-Therapie durch Stimulation modulierter Körperwahrnehmung, etwa bei Adipositas-Patient*innen – es ist somit ein wahres Embodiment-Projekt im medizinischen Kontext. Ausgehend von Sebastians Vortrag entwickelte sich ein für alle Seiten fruchtbarer Austausch an der Schnittstelle von Kunst, Geisteswissenschaft, Informatik und Gesundheit.

Gemeinsame Themen waren zum Beispiel normative Körperbilder und kaum vorhandene »Randkörperformen« in der digitalen Welt, Mimik von Avataren, gegenderte Handmodelle, Body Awareness und das Potenzial des – in der visuellen Kunst nicht zuletzt Selbsterkenntnis symbolisierenden – Spiegels zur vermittelten Wahrnehmung des eigenen (Avatar-)Körpers. Auch der Umstand, dass Körperbilder immer durch Medien vermittelt sind, wurde diskutiert – ein Fakt, der in Zeiten von Instagram-Gesichtsfiltern und Remote-Konferenzen eine enorme Relevanz für die Körperwahrnehmung hat und die häufig ungesunde Orientierung an idealisierten Normen in unserer heutigen westlichen Gesellschaft verstärkt.

VitraS ist eine Kooperation der HTW Berlin mit der Universität Würzburg (Leitung), Universität Bielefeld, SRH Hochschule für Gesundheit Gera, The Caputry GmbH, TU München, brainboost GmbH, CBMI.

Wir danken Sebastian Keppler für den tollen Vortrag und Austausch!

Weitere Infos zum Projekt VitraS siehe hier.

XBPMMM (AT) adressiert eine riesige Bandbreite spannender Informatikbereiche – die meisten davon haben mit der Embodiment-Experience in VR zu tun. Am 27.10.21 fand das zweite Treffen dazu am Forschungszentrum für Kultur und Informatik (FKI) der HTW Berlin statt. Die Künstler*innen haben ihre Erfahrungen mit dem MQTT-Protokoll geteilt, wir haben den schon entwickelten WebGL-Multiplayer gespielt, Janne Kummer hatte aus Silikon gegossene Softrobot-Formen dabei und Skills, Zuständigkeiten und nötige Technologien waren wichtige Themen.

Potenzielle Baustellen für die weitere Entwicklung:

• Cross Plattform Development (XR)
• Multiplayer in WebGL und VR (zusammenbringen)
• Integration von MQTT auf verschiedener Hard- und Software und die Interpolation der Daten zwischen den Geräten
• Körperlichkeit und Bewegung in VR
• Verformbarkeit von Meshes (Avatar-Körper)
• Materials, Textures (Größe, Skalierung, Export aus Blender)
• Umgang mit Licht in Unity und WebGL

Mixed-Reality-Installation mit der HoloLens 2
Kollaboration von reVerb, Chitrasena Dance Company, Sri Lanka,
und XR_Unites, HTW Berlin (02–09/2021)
Präsentation: Medientheater, Humboldt-Universität, Berlin, 03.09.–04.10.2021

Tanz: Thaji Dias
Choreografie: Heshma Wignaraja
Dramaturgie: Susanne Vincenz
Sound: Mareike Trillhaas
3D Scans & Management: Umadanthi Dias
Developer*innen: Christoph Holtmann, Laura Magdaleno Amaro
und Ekaterina Losik
Video & Szenografie: Isabel Robson

Im Rahmen von XR_Unites gefördert durch den Europäischen Fonds für Regionale Entwicklung (EFRE) im Programm INP-II. Außerdem wird es unterstützt durch das nationale performance netz (npn) – stepping out, gefördert von der Beauftragten der Bundesregierung für Kultur und Medien im Rahmen der Initiative Neustart Kultur. Hilfsprogramm Tanz.

Spannend! Am 30.09.2021 fand ein erstes Treffen statt, das vor allem dem gegenseitigen Kennenlernen und ersten Planungen der Zusammenarbeit diente. Weiter geht es am 27.10. mit einem gemeinsamen Hackathon an der HTW Berlin.

Vom 3. September bis 5. Oktober 2021 ist die Mixed-Reality-Installation TRANSIENT EXPOSURE in Berlin-Mitte zu erleben! Sie ist das Ergebnis der Kollaboration zwischen dem INKA-Projekt XR_Unites an der HTW Berlin, dem Künstlerinnenkollektiv reVerb und der Chitrasena Dance Company – hervorgegangen aus dem ersten OPEN CALL von XR_Unites.

Aufführungsort ist das Medientheater der Fakultät für Geistes- und Sozialwissenschaften an der Humboldt-Universität zu Berlin.

Zwei bis drei Besucher*innen gleichzeitig können die Installation mit der Mixed-Reality-Brille HoloLens betreten und in eine 15-minütige multimediale Erfahrung eintauchen: In der physischen Welt war die Installation mit Rattan-Rollos, einem Ventilator und einer großen Metallkiste bewusst sehr reduziert gehalten. Archiv-Material der Chitrasena Dance Company in Verbindung mit einer 3D-Klangcollage aus Colombo und teils interaktive 2D- und 3D-Elemente bildeten die digitale Ebene der Installation, die viele Besucher*innen begeisterte.

»Wie scheinbar einfach und selbstverständlich analoger und digitaler Raum sich hier durchdringen, wie wie geschickt Ihr die Besucher*innen führt, wie liebevoll und doch scharfsinnig ihr das Archivmaterial kuratiert und in Szene setzt – das alles macht Lust auf mehr!«, schrieb eine Besucherin kurz nach dem Erlebnis.

Das Development mit dem VFX-Graphen ist Teil der digitalen Medienproduktion und wird bei TRANSIENT EXPOSURE mit den vorgesehenen Kinect-Aufnahmen der Tänzerin Thaji Chitrasena kombiniert. Es handelt sich um ein mächtiges Gratis-Tool von Unity, das auch für Nicht-Informatiker*innen recht einfach zu erlernen ist – vor allem bei Vorkenntnissen in Software wie Blender oder Bolt, denn der VFX-Graph basiert ebenfalls auf Nodes. Das heißt, man muss nicht mit Code arbeiten – stattdessen zeigt das User Interface Blöcke (Nodes), die über Kanten miteinander verbunden werden können. Und wozu das alles?

Als Tiefenkamera erzeugt die Kinect Daten, die erst einmal nicht sichtbar sind. Der VFX-Graph besteht hingegen aus einem visuellen Partikelsystem, das man über die Nodes bearbeiten kann, z.B. in ihrer Form, Farbe oder Anzahl der Partikel. Dadurch wird ein Effekt erzeugt, durch den die Kinect-Daten sichtbar gemacht werden können – z.B. über eine Pixel-Cloud.

Als Medium zwischen VFX-Graph und Kinect-Daten dient ein Avatar, also das digitale Modell eines Menschen: Er wird sowohl mit den Kinect-Daten als auch mit dem Partikelsystem des VFX-Graphen in Deckung gebracht. Damit der Effekt am Ende an die Tänzerin erinnert, muss der Avatar noch so bearbeitet werden, dass seine Anatomie in etwa der von Thaji entspricht.

In TRANSIENT EXPOSRE arbeiten wir mit der Azure Kinect. Das ist eine Sensorleiste, die unter anderem erweiterte KI-Sensoren, einen Tiefensensor und ein räumliches Mikrofonarray enthält. Das Gerät kann Körperbewegungen erkennen (Stichwort Body Tracking) und als Datensatz speichern. Die KI kombiniert alle gesammelten Daten mit einem Skelett-Modell.  

Damit unsere Team-Mitglieder in Colombo, Sri Lanka, ganz einfach Aufnahmen mit der Kinect für Unity machen können, wird in XR_Unites ein Kinect-Recorder entwickelt, der aktuell folgende Features umfasst:

• Aufnehmen von Bewegung über das Body Tracking Feature der Kinect
• Übertragen dieser Bewegungen auf ein menschliches 3D-Modell
• Speichern der Bewegung als Animation eines 3D-Modells in einer separaten Datei
• Gleichzeitiges Aufnehmen von Audio über ein Mikrophon
• Speichern des Audios in einer separaten (.wav)-Datei
• Festlegen einer konkreten Aufnahmezeit
• Gleichzeitiges Abspielen von Audio und Animation
• Laden und Löschen der gespeicherten Aufnahmen über ein Menü

TRANSIENT EXPOSURE ist ein künstlerisches Experiment mit der Hololens 2, der aktuellen Mixed-Reality-Brille von Microsoft, die manche vielleicht schon von künstlerischen Arbeiten wie BLOOM: Open Space von Brian Eno und Peter Chilvers oder Concrete Storm von Studio Shift (beide 2018) kennen. Gewöhnlich wird sie in der Industrie genutzt – zum Beispiel zur Unterstützung in der manuellen Fertigung durch digitale Einblendung von Zusatzinformationen und Instruktionen. In der Kunst kommt sie bisher wenig zum Einsatz, was auch an ihrem stolzen Preis von über 3.000 € liegen dürfte – allerdings wird sie für künstlerische Projekte mitunter auch von Microsoft verliehen, so zum Beispiel in den beiden oben genannten Fällen. Die Hololens 2 weist 6 Freiheitsgrade, Flächen- und Raum- sowie Gesten-, Hand- und Spracherkennung auf. Außerdem ist sie für Brillenträger geeignet. In XR_Unites wird die Mixed-Reality-Anwendung für TRANSIENT EXPOSURE mit der Game-Engine Unity entwickelt.