»Futures made of Virtual Insanity.« Als Kind der 90er-Jahre verbinde ich mit den Worten »virtuelle Realität« zwei Dinge: Jamiroquais Hit »Virtual Insanity« und natürlich das Holodeck aus der Serie Star Trek. Zu schön war die Vorstellung, sich seine eigenen Räume und Welten generieren zu können, um dort komplett einzutauchen, Abenteuer zu erleben, sich zu verlieren. Fast 20 Jahre später ist der einst verrückte Traum mehr oder weniger real geworden — VR-Brillen lassen uns in Welten eintauchen, die nie ein Mensch zuvor gesehen oder gehört hat, und wir bewegen uns ähnlich leicht durch den virtuellen Raum, wie der gute Jay Kay es 1996 vortanzte.
Seit 1996 hat sich die VR-Branche rasant entwickelt. Was damals noch mehr oder minder ein abstrakt ruckelnder Polygonhaufen à la Star Fox FX war, hat sich im Jahre 2017 zu einer High-Tech-Branche entwickelt, gegen die Captain Picards Holodeck nun wirklich alt aussieht. Mit dem Smartphone lässt sich die Realität per Knopfdruck zur Monsterjagd erweitern, super realistische Konsolen- und Computer-Spiele mit Sourround-Sound ziehen immer mehr Spieler in ihren Bann − in manchen Teilen des Globusses gehen sogar die Geburtenraten zurück, weil sich die Menschen lieber im virtuellen Raum aufhalten statt sich zu vermehren. VR ist da und funktioniert!
Anzeige
Hinter solchen Produktionen stehen allerdings meistens riesige Softwarefirmen mit entsprechendem Budget, doch mit der Ankunft von Technologien wie den 360-Grad- Videos von YouTube und Facebook ist es nun auch dem kleinen Mann möglich, ein Stückchen VR selbst zu gestalten.
Dank moderner Smartphone- und Kameratechnologien kann heutzutage fast jeder ohne große Mühe ein 360-Grad-Video erstellen. Allerdings ist ausgerechnet das Herstellen von 3D-Audio nicht ganz so einfach. Einige DAWs bieten zwar vereinzelt binaurale Plug-ins an, aber kaum eines der aktuellen Tools eignet sich dafür, die dritte Dimension auch wirklich kreativ und professionell zu nutzen.
Exakt hier setzt die Firma Dear Reality aus Düsseldorf an, die mit ihren in Kürze erscheinenden Plug-ins dieses Problem lösen und Musikern und Sounddesignern die Tür zum virtuellen Raum aufschließen möchte.
Dear Reality, dahinter stecken die beiden Entwickler Achim Fell und Christian Sander, die sich über die gemeinsame Arbeit an einem Hörspiel im App-Format für den WDR kennenlernten und die Technologie entwickelt haben, welche nun in Form der beiden Plugins »Dear Reality Pro« und »Music« auf den Markt kommt. Ich treffe die beiden Entwickler zum Interview in ihrem Düsseldorfer Büro.
Wie ist Dear Reality entstanden?
Achim Fell: Christian hatte einen Prototyp für ein interaktives WDR-Hörspiel namens »39« erstellt. Ich habe damals das Konzept dazu entwickelt und irgendeine Technologie im Bereich 3D-Audio gesucht, die man auf mobilen Geräten nutzen kann. Das ist jetzt vier Jahre her, und damals gab es nichts in der Richtung, bis auf ein spannendes AES-Paper, in welchem es jemand auf seinem iPhone 4S geschafft hat, bis zu 18 Audioquellen berechnen zu lassen − darauf bin ich sofort angesprungen und habe erstaunt gesehen, dass das jemand aus Düsseldorf geschrieben hat. Dieser Jemand war Christian. So haben wir uns kennengelernt, den Prototypen und die Produktion für den WDR gemacht und in dem Zuge Dear Reality gegründet.
Christian Sander: Wir haben uns gesagt, dass wir auf der einen Seite die Inhalte, aber eben auch die Technologie dazu entwickeln wollen, weil es die eben noch nicht gab. Ich hatte die Engine damals im Rahmen meiner Diplomarbeit an der FH Düsseldorf entwickelt. Vorher hatte ich bei Prof. Heike Sperling eine Visual-Music-App entwickelt, daher hatte ich mit iOS-Entwicklung viel tun gehabt. Ich wusste, dass so etwas Ähnliches in Aachen an riesen Rechnern berechnet wird, und habe mich gefragt, ob man so etwas nicht in einer kleineren Version fürs Smartphone machen könnte.
Ich wurde dafür anfänglich belächelt, aber ich fand das total spannend und habe den Prototypen dann im Rahmen meiner Diplomarbeit geschrieben und ihn mit Achim weiterentwickelt. Wir haben dann die Hörspiel-App für den WDR rausgebracht, die war mit über 100.000 Downloads sehr erfolgreich.
Apple hatte das dann sogar gefeatured, und die Idee mit dem interaktiven 3D-Hörspiel kam gut an. Wir haben uns dann gesagt, dass wir die Technologie weiterentwickeln, haben viele Features dazu gepackt und dann die Unity-Version auf der SXSW2016 veröffentlicht. In Unity kann man allerdings nicht wirklich eine Mischung machen, man muss alles vorbereiten und händisch in die DAW übertragen, deswegen haben wir uns dazu entschlossen, ein VST-Plug-in aus der Engine zu entwickeln.
Achim Fell (links) und Christian Sander (Bild: Martin Mercer)
Achim: Ich denke, es ist für unser Plug-in prägend gewesen, dass wir selbst als Toningenieure damit arbeiten. Wir haben versucht, mit dem Plug-in die Mischung so hinzubekommen, wie wir uns das wünschen, also unseren Klangvorstellungen entsprechend. Das war von Anfang an die treibende Kraft: Es muss zwar 3D-Audio sein, aber es muss in erster Linie auch richtig gut klingen. Wir wollten die Gewissheit haben, dass wir mit dem Plug-in Sachen machen, die gut klingen.
Christian: Wir hatten immer diesen Leitsatz: »Tools von Content-Creator für Content-Creator«. In der 3D-Ebene eines Games wird aus einem einfachen Sound eine Schallquelle mit Metadaten. Im Zusammenhang mit der Räumlichkeit stehen die Begriffe des »Objektorientierten Audios« oder »Szenen-basiert«. Was in der heilen 2D-Welt der normalen Stereo-Aufnahmen mehr oder weniger überschaubar ist, fächert sich auf in eine Vielzahl von Aufnahme- und weiteren Wiedergabemöglichkeiten. Auf der Aufnahmeseite gibt es diverse Möglichkeiten, z. B. Ambisonics oder binaurale Methoden wie die Kunstkopfmikrofonie. Ausgabeseitig gibt es je nach Ausgabeformat eine anfänglich unüberschaubare Anzahl an Möglichkeiten mit teils kryptischen Bezeichnungen.
Objekt-basiert bedeutet, dass jedes Objekt im Raum als eigene Schallquelle mit Metadaten zu verstehen ist. Bezogen auf die Game-Engine Unity bedeutet das, dass du virtuelle Objekte im Raum hast, die alle Schallquellen sind. Wenn das dann eine komplexe Szene ist, die z. B. draußen spielt, kann das dazu führen, dass es mit jedem Blatt, jedem Grashalm, jedem Auto schnell 50 bis 100 Quellen werden, weswegen es also bestimmte Szenen gibt, bei denen es Sinn macht, das Ganze als Scene-based Audio umzusetzen.
Das kann man sich vorstellen wie eine Art Bus, wie z. B. einen Surround-Bus; in diesem Fall hast du dann einen Ambisonics-Bus, in den du sozusagen alles vorher reinmischst, du positionierst deine Quellen, und der Output ist dann in dem Fall Ambisonics. Damit hast du dann nicht mehr die ganzen rechenintensiven Metadaten, sondern nur eine Szene, in die sozusagen alles eingebrannt ist.
Achim: Szene-based bzw. Ambisonics ist natürlich ein sehr wertvolles Format, gerade wenn man Aufnahmen macht, da ich in der Realität ja nicht jeden Grashalm oder jeden Baum verkabeln kann. Im Rahmen der Musikproduktion ist es hingegen wieder super, alles Objekt-basiert umzusetzen.
Bisher gibt es nur recht umständliche Technologien, um 3D-Audio in der DAW weiterzuverarbeiten oder zu realisieren. Gerade die Verzahnung zwischen Controller, Game Engine, der DAW und dem kreativen Schaffensprozess ist ein Problem. Wie sieht eure Lösung aus?
DearVR ist unsere Technologie. Wir werden darauf aufbauend parallel zwei Plug-in-Versionen veröffentlichen, eine Pro- und eine Music-Version.
Christian: Das Plug-in simuliert das räumliche Hören und kann Schallquellen virtuell im Raum mit einem absolut realistischen Höreindruck positionieren− ob nah, fern, links, rechts oder über dir.
Außerdem bedient es alle Output-Formate, wie z. B. binaural, stereo, Ambisonics sowie ein eigenes Format, dearVR Spatial Connect, womit man die Brücke zur Game-Engine Unity schließt. Das ist das, was die Pro-Version kann.
Achim: Bei der Music-Version haben wir das Plug-in gezielt durch eine bewusste Auswahl der Presets an die Musikproduktion angepasst, damit es direkt möglich ist, Musik in 3D-Audio zu produzieren.
Der tatsächliche Schritt ins Holodeck wird allerdings erst durch ein weiteres Tool von euch vollzogen. Via Spatial Connect lassen sich 3D-Brillen und Controller in das Setup integrieren, wodurch der Tonschaffende selbst zum Realitäts- Architekten im virtuellen Raum wird.
Christian: Die dearVR Spatial Connect ist ein Tool, das man mit dem Plug-in »dearVR Pro« koppeln kann. Dadurch ist es möglich, eine VR-Brille zu verwenden, um so letztendlich selber in VR zu mischen. Wenn man einen Film fürs Kino mischt, geht man für die Endmischung auch ins Kino, um zu hören, wie es da funktioniert. Deshalb haben wir gesagt, wenn man für VR oder Augmented-Reality mischt, muss man auch selber in VR sein, um wirklich beurteilen zu können, ob z. B. die Schallquelle auf der richtigen Position ist und ob die Distanz funktioniert. Das Besondere ist, dass alles, was ich in VR mache, direkt in die DAW in Form von Automation übersetzt wird.
Achim: Das Ganze kann man damit vergleichen, dass man vor einigen Jahren plötzlich ein Videofenster zur DAW hinzugefügt hat, eben um Sound zum Video zu mischen. Jetzt kann ich mit Spacial Connect ein Headset und eine 3D-Brille an meine Workstation anschließen. Dann bin ich plötzlich in VR, kann meine DAW in VR ansteuern und wirklich live mischen. Die Automation kann ich in meiner DAW aufzeichnen, während ich live in VR bin, was total Sinn und obendrein auch noch Laune macht. So habe ich einen Controller, mit dem man ganz anders arbeiten kann − es ist ja schon erleichternd, wenn man einen Controller mit Fadern für die DAW hat. Jetzt sind wir einen Schritt weiter und können freie Bewegungen nutzen und diese in der DAW aufzeichnen. Obendrein hat man noch den Vorteil, dass ich meine ganzen Audio-Plug-ins wie gewohnt nutzen kann.
Christian: Der Workflow ist also, dass du die Mischung in deiner DAW wie gewohnt machst, um dann mit dem Plug-in alles in die Unity-Engine zu exportieren. Vorher musstest du zuerst WAV-Dateien exportieren und diese dann händisch in Unity einfügen, was eine unglaubliche Arbeit war. Auf der visuellen Seite gibt’s das Prinzip ja schon etwas länger, wo du sozusagen in VR dein Game bauen kannst, allerdings gab’s diesen Workflow bisher nicht für Audio. Es macht also total Sinn: Mixing for VR in VR.
Vielen Dank für dieses aufschlussreiche Gespräch!
Aussicht
Das genaue Release-Datum steht zum Zeitpunkt dieses Artikels noch nicht fest, weil noch einige Tests abgeschlossen werden müssen. Die Entwickler gehen davon aus, dass es nicht lang nach dem Erscheinen dieser SR-Ausgabe sein wird. DearVR Pro und Music werden als VST, AAX und Audio-Unit auf den Markt kommen und über Plugin Alliance vertrieben.
