In TRANSIENT EXPOSRE arbeiten wir mit der Azure Kinect. Das ist eine Sensorleiste, die unter anderem erweiterte KI-Sensoren, einen Tiefensensor und ein räumliches Mikrofonarray enthält. Das Gerät kann Körperbewegungen erkennen (Stichwort Body Tracking) und als Datensatz speichern. Die KI kombiniert alle gesammelten Daten mit einem Skelett-Modell.
Damit unsere Team-Mitglieder in Colombo, Sri Lanka, ganz einfach Aufnahmen mit der Kinect für Unity machen können, wird in XR_Unites ein Kinect-Recorder entwickelt, der aktuell folgende Features umfasst:
- Aufnehmen von Bewegung über das Body Tracking Feature der Kinect
- Übertragen dieser Bewegungen auf ein menschliches 3D-Modell
- Speichern der Bewegung als Animation eines 3D-Modells in einer separaten Datei
- Gleichzeitiges Aufnehmen von Audio über ein Mikrophon
- Speichern des Audios in einer separaten (.wav)-Datei
- Festlegen einer konkreten Aufnahmezeit
- Gleichzeitiges Abspielen von Audio und Animation
- Laden und Löschen der gespeicherten Aufnahmen über ein Menü