Photo: Slide aus der Präsentation von Leonid Barsht
Das vierte Meeting zu XBPMMM startete mit einem Gastvortrag vom AURORA-Developer und Medieninformatiker Leonid Barsht zum Thema Lokomotion (Fortbewegung), Interaktion und User Interface in Virtual Reality.
Bei der anschließenden Diskussion wurde klar, dass wir in nächster Zukunft wohl einige VR-Anwendungen als Referenzen für Lokomotion und Interaktion testen werden – wir halten Euch auf dem Laufenden! Für XBPMMM ist eine Kombination verschiedener Lokomotions- und Interaktionsmöglichkeiten (evtl. je nach Level des Multiplayers) geplant.
Und traraaaa: Bei diesem Meeting wurde das Unity-Projekt auf Basis der Vorarbeiten von Janne und Anton neu aufgesetzt und strukturiert. Das heißt, es kann jetzt – parallel zur Entwicklung des Storyboards/Ablaufs – allmählich mit dem Development losgehen!
Der Fokus von Storyboard und Development liegt erstmal auf dem Level 0, in dem man ankommt, und der dritten und damit letzten Szene – beides in Kombination mit den Softrobots und dem MQTT-Protokoll. Das Ziel ist dabei erstmal, den (browserbasierten) WebGL- und den VR-Multiplayer parallel zu denken und zu entwickeln.
Unser neues Expert/innenboard-Mitglied Sebastian Keppler stellte bei diesem Treffen das vom BMBF geförderte Forschungsprojekt VitraS vor, an dem er als Projektmitarbeiter beteiligt ist (Leitung an HTW: Prof. Habakuk Israel, ebenfalls Experte im Board von XR_Unites).
Der Fokus von VitraS liegt auf der Virtual-Reality-Therapie durch Stimulation modulierter Körperwahrnehmung, etwa bei Adipositas-Patient*innen – es ist somit ein wahres Embodiment-Projekt im medizinischen Kontext. Ausgehend von Sebastians Vortrag entwickelte sich ein für alle Seiten fruchtbarer Austausch an der Schnittstelle von Kunst, Geisteswissenschaft, Informatik und Gesundheit.
Gemeinsame Themen waren zum Beispiel normative Körperbilder und kaum vorhandene »Randkörperformen« in der digitalen Welt, Mimik von Avataren, gegenderte Handmodelle, Body Awareness und das Potenzial des – in der visuellen Kunst nicht zuletzt Selbsterkenntnis symbolisierenden – Spiegels zur vermittelten Wahrnehmung des eigenen (Avatar-)Körpers. Auch der Umstand, dass Körperbilder immer durch Medien vermittelt sind, wurde diskutiert – ein Fakt, der in Zeiten von Instagram-Gesichtsfiltern und Remote-Konferenzen eine enorme Relevanz für die Körperwahrnehmung hat und die häufig ungesunde Orientierung an idealisierten Normen in unserer heutigen westlichen Gesellschaft verstärkt.
VitraS ist eine Kooperation der HTW Berlin mit der Universität Würzburg (Leitung), Universität Bielefeld, SRH Hochschule für Gesundheit Gera, The Caputry GmbH, TU München, brainboost GmbH, CBMI.
Wir danken Sebastian Keppler für den tollen Vortrag und Austausch!
Anton Krause präsentiert den WebGL-Multiplayer. Photo: XR_Unites, HTW Berlin
XBPMMM (AT) adressiert eine riesige Bandbreite spannender Informatikbereiche – die meisten davon haben mit der Embodiment-Experience in VR zu tun. Am 27.10.21 fand das zweite Treffen dazu am Forschungszentrum für Kultur und Informatik (FKI) der HTW Berlin statt. Die Künstler*innen haben ihre Erfahrungen mit dem MQTT-Protokoll geteilt, wir haben den schon entwickelten WebGL-Multiplayer gespielt, Janne Kummer hatte aus Silikon gegossene Softrobot-Formen dabei und Skills, Zuständigkeiten und nötige Technologien waren wichtige Themen.
Potenzielle Baustellen für die weitere Entwicklung:
Cross Plattform Development (XR)
Multiplayer in WebGL und VR (zusammenbringen)
Integration von MQTT auf verschiedener Hard- und Software und die Interpolation der Daten zwischen den Geräten
Körperlichkeit und Bewegung in VR
Verformbarkeit von Meshes (Avatar-Körper)
Materials, Textures (Größe, Skalierung, Export aus Blender)
Mixed-Reality-Installation mit der HoloLens 2 Kollaboration von reVerb, Chitrasena Dance Company, Sri Lanka, und XR_Unites, HTW Berlin (02–09/2021) Präsentation: Medientheater, Humboldt-Universität, Berlin, 03.09.–04.10.2021
Tanz: Thaji Dias Choreografie: Heshma Wignaraja Dramaturgie: Susanne Vincenz Sound: Mareike Trillhaas 3D Scans & Management: Umadanthi Dias Developer*innen: Christoph Holtmann, Laura Magdaleno Amaro und Ekaterina Losik Video & Szenografie: Isabel Robson
Im Rahmen von XR_Unites gefördert durch den Europäischen Fonds für Regionale Entwicklung (EFRE) im Programm INP-II. Außerdem wird es unterstützt durch das nationale performance netz (npn) – stepping out, gefördert von der Beauftragten der Bundesregierung für Kultur und Medien im Rahmen der Initiative Neustart Kultur. Hilfsprogramm Tanz.
Spannend! Am 30.09.2021 fand ein erstes Treffen statt, das vor allem dem gegenseitigen Kennenlernen und ersten Planungen der Zusammenarbeit diente. Weiter geht es am 27.10. mit einem gemeinsamen Hackathon an der HTW Berlin.
Vom 3. September bis 5. Oktober 2021 ist die Mixed-Reality-Installation TRANSIENT EXPOSURE in Berlin-Mitte zu erleben! Sie ist das Ergebnis der Kollaboration zwischen dem INKA-Projekt XR_Unites an der HTW Berlin, dem Künstlerinnenkollektiv reVerb und der Chitrasena Dance Company – hervorgegangen aus dem ersten OPEN CALL von XR_Unites.
Aufführungsort ist das Medientheater der Fakultät für Geistes- und Sozialwissenschaften an der Humboldt-Universität zu Berlin.
Zwei bis drei Besucher*innen gleichzeitig können die Installation mit der Mixed-Reality-Brille HoloLens betreten und in eine 15-minütige multimediale Erfahrung eintauchen: In der physischen Welt war die Installation mit Rattan-Rollos, einem Ventilator und einer großen Metallkiste bewusst sehr reduziert gehalten. Archiv-Material der Chitrasena Dance Company in Verbindung mit einer 3D-Klangcollage aus Colombo und teils interaktive 2D- und 3D-Elemente bildeten die digitale Ebene der Installation, die viele Besucher*innen begeisterte.
»Wie scheinbar einfach und selbstverständlich analoger und digitaler Raum sich hier durchdringen, wie wie geschickt Ihr die Besucher*innen führt, wie liebevoll und doch scharfsinnig ihr das Archivmaterial kuratiert und in Szene setzt – das alles macht Lust auf mehr!«, schrieb eine Besucherin kurz nach dem Erlebnis.
Das Development mit dem VFX-Graphen ist Teil der digitalen Medienproduktion und wird bei TRANSIENT EXPOSURE mit den vorgesehenen Kinect-Aufnahmen der Tänzerin Thaji Chitrasena kombiniert. Es handelt sich um ein mächtiges Gratis-Tool von Unity, das auch für Nicht-Informatiker*innen recht einfach zu erlernen ist – vor allem bei Vorkenntnissen in Software wie Blender oder Bolt, denn der VFX-Graph basiert ebenfalls auf Nodes. Das heißt, man muss nicht mit Code arbeiten – stattdessen zeigt das User Interface Blöcke (Nodes), die über Kanten miteinander verbunden werden können. Und wozu das alles?
Als Tiefenkamera erzeugt die Kinect Daten, die erst einmal nicht sichtbar sind. Der VFX-Graph besteht hingegen aus einem visuellen Partikelsystem, das man über die Nodes bearbeiten kann, z.B. in ihrer Form, Farbe oder Anzahl der Partikel. Dadurch wird ein Effekt erzeugt, durch den die Kinect-Daten sichtbar gemacht werden können – z.B. über eine Pixel-Cloud.
Als Medium zwischen VFX-Graph und Kinect-Daten dient ein Avatar, also das digitale Modell eines Menschen: Er wird sowohl mit den Kinect-Daten als auch mit dem Partikelsystem des VFX-Graphen in Deckung gebracht. Damit der Effekt am Ende an die Tänzerin erinnert, muss der Avatar noch so bearbeitet werden, dass seine Anatomie in etwa der von Thaji entspricht.
In TRANSIENT EXPOSRE arbeiten wir mit der Azure Kinect. Das ist eine Sensorleiste, die unter anderem erweiterte KI-Sensoren, einen Tiefensensor und ein räumliches Mikrofonarray enthält. Das Gerät kann Körperbewegungen erkennen (Stichwort Body Tracking) und als Datensatz speichern. Die KI kombiniert alle gesammelten Daten mit einem Skelett-Modell.
Damit unsere Team-Mitglieder in Colombo, Sri Lanka, ganz einfach Aufnahmen mit der Kinect für Unity machen können, wird in XR_Unites ein Kinect-Recorder entwickelt, der aktuell folgende Features umfasst:
Aufnehmen von Bewegung über das Body Tracking Feature der Kinect
Übertragen dieser Bewegungen auf ein menschliches 3D-Modell
Speichern der Bewegung als Animation eines 3D-Modells in einer separaten Datei
Gleichzeitiges Aufnehmen von Audio über ein Mikrophon
Speichern des Audios in einer separaten (.wav)-Datei
Festlegen einer konkreten Aufnahmezeit
Gleichzeitiges Abspielen von Audio und Animation
Laden und Löschen der gespeicherten Aufnahmen über ein Menü
TRANSIENT EXPOSURE ist ein künstlerisches Experiment mit der Hololens 2, der aktuellen Mixed-Reality-Brille von Microsoft, die manche vielleicht schon von künstlerischen Arbeiten wie BLOOM: Open Spacevon Brian Eno und Peter Chilvers oder Concrete Storm von Studio Shift (beide 2018) kennen. Gewöhnlich wird sie in der Industrie genutzt – zum Beispiel zur Unterstützung in der manuellen Fertigung durch digitale Einblendung von Zusatzinformationen und Instruktionen. In der Kunst kommt sie bisher wenig zum Einsatz, was auch an ihrem stolzen Preis von über 3.000 € liegen dürfte – allerdings wird sie für künstlerische Projekte mitunter auch von Microsoft verliehen, so zum Beispiel in den beiden oben genannten Fällen. Die Hololens 2 weist 6 Freiheitsgrade, Flächen- und Raum- sowie Gesten-, Hand- und Spracherkennung auf. Außerdem ist sie für Brillenträger geeignet. In XR_Unites wird die Mixed-Reality-Anwendung für TRANSIENT EXPOSURE mit der Game-Engine Unity entwickelt.
Das Konzept der Mixed-Reality-Installation Transient Exposure hat Anfang 2021 unseren ersten Open Call gewonnen. Wir haben Isabel Robson, Mareike Trillhaas und Susanne Vincenz interviewt – als Künstlerinnenkollektiv reVerb stehen sie in Kooperation mit der Chitrasena Dance Company (Colombo, Sri Lanka) hinter der Projektidee.
XRU: Wie würdet ihr euer Kollektiv beschreiben?
Isabel: Wir haben uns als Videokunstkollektiv verstanden. Wir erforschen räumliche Bildwelten in Zusammenhang mit Performance. Im Laufe der Zeit haben sich die Technologien verändert und somit sind wir jetzt beim ersten Versuch mit Mixed Reality (MR).
XRU: Wie ist das Kollektiv entstanden und was war eure Vision zu dem Zeitpunkt?
Susanne: reVerb war immer mit der Frage verknüpft, wie man dokumentarisches Material als bewegtes Bild in einer Live-Performance integrieren kann. Das hat sich mit der Zeit Stück für Stück weiterentwickelt. Wir haben mit verschiedenen Künstler*innen international gearbeitet, zur Stadtentwicklung in China, zur Protestbewegung in Iran, und die Videos bekamen in Verbindung mit der Performance eine Dreidimensionalität. Daraus hat sich dann der nächste Schritt ergeben, eher installativ zu denken. Ausgehend von den Kafka-Fragmenten von György Kurtág hatten wir 2013 eine Installation im Jüdischen Museum. Das war unsere erste gemeinsame installative Arbeit als reVerb.
XRU: Und dann kam Mareike dazu. Richtig?
Mareike: Genau. Isabel kannte ich schon von anderen Projekten. Wir haben uns das erste Mal im Maxim-Gorki-Theater getroffen und dann immer mal sporadisch ein paar kleinere Sachen zusammen gemacht. reVerb bin ich letztes Jahr beigetreten.
XRU:Transient Exposure ist euer neues Projekt in Kooperation mit der Chitrasena Tanzcompany in Sri Lanka. Wie ist diese Kollaboration zustande gekommen?
Isabel: Ich habe das Glück gehabt, dreieinhalb Jahre meiner Kindheit in Sri Lanka zu verbringen. Jeden Samstagmorgen haben meine Mutter und ich die Chitrasena-Tanzschule besucht. Es gab eine Faszination für die Bewegung und die Musik aus dieser Zeit. reVerb, also der Nachklang, ist in dieser Hinsicht Programm. Nach mehreren Besuchen in den letzten Jahren sind wir jetzt mitten in einem gemeinsamen Projekt. Die Kollaboration mit XR_Unites ist dabei ein Kapitel dieser Annäherungen und Zusammenarbeit.
XRU: Worin bestehen für euch der Reiz und das Potenzial von Transient Exposure?
Isabel: Ich habe große Lust, mit der HoloLens 2, der Mixed-Reality-Brille, zu experimentieren. Im Vergleich zu der geschlossenen Virtual-Reality-Erfahrung bietet MR mehr Möglichkeiten für die Integration einer Live-Performance. In dieser ersten Etappe werden wir nicht mit Live-Performance arbeiten können. Es geht vielmehr um die User-Interaktivität. Aber spannend ist, dass Inhalte räumlich verankert werden und dass man als User entscheidet, was man sieht und was nicht. Und v.a. die Antwort auf die Frage: Was kann diese Technologie der Live-Performance bringen auf einer szenografische Ebene – und was nicht?
XRU: Was darf das Publikum erwarten?
Mareike: Ich stelle es mir bis jetzt vor wie eine Mischung aus behaupteter Kommunikation und echter Kommunikation, weil die Tänzerin in Verbindung mit den Leuten treten soll, die sich auch in diesem Raum befinden. Da es nicht live ist, kann die Kommunikation nicht wirklich direkt sein. Aber dadurch, dass man Gesten-Steuerung oder vielleicht auch akustische Steuerung benutzen kann, gibt es doch so eine Art Interaktion. Die Kommunikation kann trotzdem zwischen den zwei oder drei Leuten stattfinden, die sich das anschauen und anhören. Und dann gibt es auch noch diese Ebenen zwischen den Zeiten, weil auch die Vergangenheit eine Rolle spielt, und zwischen Orten wie Sri Lanka und Berlin.
XRU: Ihr habt euch für eine Darstellungsform entschieden, bei der Tänzerinnen als Point Clouds dargestellt werden. Diese können den Eindruck vermitteln, dass das damit Dargestellte nicht greifbar ist – auch kann es leicht zerfallen oder sich auflösen. Warum diese Entscheidung?
Isabel: Unser Titel deutet das an. Es gab immer wieder Begegnungen der Chitrasenas durch Tourneen und Reisen zwischen ihrem traditionellen Tanz und anderen Bühnenkünstler*innen in der Sowjetunion, auch hier in der ehemaligen DDR, z.B. mit Gret Palucca. Für einen Moment gibt es eine Exposure – man ist einer anderen Sprache oder Kunstform ausgesetzt. Was bleibt vom eigentlichen Tanz? Das ist eine Frage, die wir mit dem Archiv der Chitrasena Company stellen. Die Point Clouds entfernen sich von einem Fotorealismus, und wenn man wirklich den Fokus auf Bewegung legen möchte, dann ist eine abstrakte Form geeigneter.
XRU: Die Anwendung wird nicht nur Tänzerinnen aus verschiedenen Generationen zusammenführen, sondern lässt auch den Rhythmus traditioneller sri-lankischer Tänze wie des Kandy Dance eine zentrale Rolle spielen. Wie koordiniert man die Musik alter Choreografien mit neuen?
Susanne: Tatsächlich sind es die gleichen Choreografien, die über drei Generationen weitergegeben wurden. Das sind Tänze, die aus den rituellen Zusammenhängen der sri-lankischen Tradition stammen und dann in den 1940ern für die Bühne adaptiert wurden. Sie wurden von den Frauen der Company weiterentwickelt und über drei Generationen weitergegeben. Wir arbeiten dabei mit Überlagerungen, die diese Zeitschichten sichtbar machen sollen. Die Choreografien, die ihre Großmutter getanzt hat, tanzt Thaji Dias in anderer Art und Weise immer noch.
XRU: Wird diese Überlagerung auch in der Musik vorkommen?
Mareike: Es wird eine Mischung zwischen neuen und realen Geräuschen aus Colombo sein. Der starke Verkehr z.B. spielt eine wichtige Rolle. Es können aber auch abstraktere Geräusche dazukommen, die nicht so eins-zu-eins wiedergeben, wie es jetzt ist oder wie es war, sondern die Assoziationen wecken. Es können Sounds von Kostümen sein – es gibt ja ein stark metallbesetztes Kostüm, das sehr geräuschhaft ist. So etwas würde ich auch gerne integrieren.
XRU: Inwiefern wird der politisch-historische Kontext einfließen, z.B. der Bürgerkrieg?
Isabel: Politische Hintergründe, auch die Frage, wo das Land sich gerade befindet, sind wichtig. Wir erfahren etwas über die Hürden und Herausforderungen, die jede Generation erlebt hat. Wenn wir auf die Arbeiten von Upeca Chitrasena in den 1980er Jahren schauen, dann im Kontext des beginnenden Bürgerkriegs, der so lange andauerte. Susanne: Ich glaube, dass man in Transient Exposure einen komplexen Hintergrund nicht direkt erfahren kann. Aber was man vielleicht mitbekommen sollte, ist, dass es eine Umbruchsituation ist. Im Grunde genommen die Fragen: Welchen Ort hat dieser Tanz heute in Sri Lanka? Inwiefern hat er etwas mit Zeitgenossenschaft zu tun? Was erzählt dieser Tanz heute? Was löst er aus? Wo ist sein Ort? Das ist schon etwas, das wir auch mit der MR-Installation versuchen zu vermitteln.
XRU: Wie geht es nach dem XR_Unites-Stipendium mit Transient Exposure weiter?
Susanne: Wir werden es auf jeden Fall nach Sri Lanka bringen. Es gibt die Möglichkeit, dass es auf der Insel an verschiedenen Orten gezeigt wird. Da sind wir in Kontakt mit verschiedenen Institutionen, unter anderem dem Goethe-Institut. Eine der Herausforderungen in dieser Zusammenarbeit ist ja tatsächlich, etwas zu entwickeln, das sowohl für ein Publikum in Sri Lanka als auch in Deutschland funktionieren kann. Und vielleicht ist dafür genau diese neue Technologie besonders geeignet, weil weder wir, noch ein Publikum in Sri Lanka, bisher damit so viel Umgang hatten.
Das Gespräch führte Laura Magdaleno Amaro von XR_Unites am 03.03.2021.
