Die Möglichkeiten und Einsatzgebiete von Immersive Audio – Tom Ammermann
von Marc Bohn,
Anzeige
In dieser Episode ist Immersive-Audio-Spezialist Tom Ammermann zu Gast. Als Geschäftsführer von New Audio Technology ist er maßgeblich für die Entwicklung des 3D-Audio-Tools „Spatial Audio Designer“ verantwortlich. Wir sprechen mit dem Produzenten und Engineer, der an der Produktion von Kraftwerk 3D beteiligt war, über die Möglichkeiten von Immersive Audio und die Anwendungsgebiete sowohl in als auch abseits der Produktion von Musik, Film, TV und Computerspielen. Welche Rolle spielt Immersive Audio beispielsweise für Festinstallationen in Freizeitparks, Gebäuden, Event-Locations oder auch Autos? Und hier steht auch nicht immer der Entertainment-Faktor im Fokus, sondern auch Funktionalität oder Interaktivität. Wir sprechen auch über unterschiedliche Abspielsysteme und Formate sowie den jeweiligen Produktionsumfang und Aufwand. Zum Schluss werfen wir noch einen Blick auf die Chancen für Sounddesigner und Produzenten, die sich durch dieses Feld bieten. Viel Spaß beim Hören!
Anzeige
Die Möglichkeiten und Einsatzgebiete von Immersive Audio – Tom Ammermann
Dir gefällt das Video? Dann folge uns auf Facebook und YouTube!
Tom Ammermann ist als Geschäftsführer von New Audio Technology maßgeblich für die Entwicklung des 3D-Audio-Tools »Spatial Audio Designer « verantwortlich. Er gilt als ein Pionier in der Atmosphäre Immersive Audio und war zusammen mit Fritz Hilpert an der Produktion von Kraftwerk 3-D, die in seinem Luna Studio gemischt wurde, involviert. Wir haben mit dem Engineer und Produzenten über die Möglichkeiten und Anwendungsgebiete von Immersive Audio sowohl in als auch abseits der Produktion von Musik, Film, TV und Computerspielen gesprochen.
Tom, wie kam es zur Idee und überhaupt zur Notwendigkeit eines 3D-Audio-Tools?
Ich mache seit 2000 Surround-Produktionen, was eigentlich auch schon Immersive Audio ist. Ich habe dann 2009 meine ersten 3D- bzw. 7.1-Mischungen für Sony gemacht, mit 5.1-Low-Layer und zwei Höhenkanälen. Ich habe damals auch für mich schon 9.1- und 11.1-Mischungen gemacht, was heute 7.1.4 ist. Ich habe dann gemerkt: Wenn wir nichts haben, um Audio-Objekte in einem bestimmten Lautsprecher-Umfeld zu bewegen, drehen wir durch. Ich habe das damals mit Aux-Kanälen gemacht, das war sehr umständlich.
Wie funktionierte das?
5.1-Panner gab es schon. Und für die Höhenkanäle habe ich mir jeweils einen Aux-Kanal angelegt. Und immer, wenn ich ein Audio-Objekt oben haben wollte, habe ich es nicht in den Surround-Layer, sondern in den Aux-Kanal gemischt. Wenn ich wollte, dass es sich von rechts nach links bewegt, habe ich ein Power-Panning per Hand zwischen dem linken und rechten Aux gemacht.
Wie sah der Werdegang und der Entwicklungsprozess des Spatial Audio Designers von der Idee bis zur Veröffentlichung aus?
Ich hatte die Idee, diese Software zu bauen, und versucht, von der Stadt Hamburg eine Förderung für dieses Projekt zu bekommen, und das hat geklappt! Ich hatte glücklicherweise Top-Entwickler gefunden, die sich engagiert und meine verrückten Ideen in die Realität umgesetzt haben. Daraus wurde dann 2011 die erste Version des Spatial Audio Designers. Mit der Veröffentlichung gab es auch den ersten Film, der jemals in 3D-Audio gemischt wurde. Das war Red Tails von Lucasfilm, der in den Galaxy Studios von den »Skywalkern« mit dem Spatial Audio Designer gemischt wurde. Er war dann in Auro-3D im Kino.
Bist du auch selbst Software-Entwickler?
Ich wollte schon immer Erfinder werden, und das bin ich auch tatsächlich. Ich bin derjenige, der sich das ausdenkt und sagt, wie Audio funktionieren und bewegt werden muss. Und die Jungs hacken das dann in den Code. Also, ich bin kein Programmierer, das kann ich nicht. Ich habe es allerdings geschafft, mich immer tiefer in diese Dinge auf der Programmier-Ebene reinzudenken, sodass ich die Schnittstelle zwischen dem, was das Tool können muss, und den Programmierern, die es in den Code einbauen müssen, bin.
Was macht und kann der Spatial Audio Designer genau?
Es ist ein Plug-in, das auf Mac und Windows funktioniert und die wichtigsten Interfaces AAX, AU und VST2 und -3 unterstützt. Im Spatial Audio Designer hast du drei Module: Das Send-Modul schickt Audio in eine Mixing-Engine, die sich automatisch im Hintergrund der DAW öffnet. Die kannst du mit dem Mix-Modul überwachen. Dort siehst du alle Send-Module, die in deiner Produktion sind, während du das Audiomaterial lediglich in den einzelnen Send-Modulen siehst. Die Mixing-Engine erzeugt eine Binauralisierung des Ausgangsformats, das du eingestellt hast, beispielsweise 5.1, Stereo, 7.1, 11.1 oder 22.2. Diese Binauralisierung stammt aus Messungen realer Räume und Studios.
Der Vorteil solcher binauralen Ansätze ist, dass du eine Mischung kreierst, die auch auf realen Lautsprecher-Systemen funktioniert. Die ganzen Artefakte wie Korrelationen und Raumreflexionen sind gewollt, da man sie in einem normalen Studio auch hat. Genauso wie da, wo die Leute es sich später anhören.
Zuletzt gibt es noch das Channel-Out-Modul, das du auf deinen Ausgangs-Channel packst. Dort kannst du die einzelnen Kanäle deiner Mischung direkt ausgeben, auch an der Binauralisierung vorbei. Das heißt, du kannst natürlich für Stereo und in allen Surround- oder Immersive-Formaten wie 11.1 oder 22.2 über den Kopfhörer mischen, und hörst, wie der Mix später auf dem Lautsprechersystem klingt und funktioniert. Du kannst aber natürlich auch auf deinem Surround-System im entsprechenden Format mischen und das Format jederzeit ändern.
Welche Aufgabe hattest du in der Produktion von Kraftwerk 3-D, und welche Rolle spielte dabei der Spatial Audio Designer?
Wir haben die Mischung bei mir im Studio gemacht. Es war auch meine Inspiration, das Album in 3D zu produzieren. Zuerst hatte man nur über 7.1 nachgedacht. Alle Workflows waren damals nur auf Film ausgerichtet. Ich hatte mir in meinem Studio einen Workflow ausgedacht, wo man Musik-Editing und Produktionen machen und das Audiomaterial durch den Raum schicken kann. Den gab es damals (2015) noch nicht. Fritz Hilpert von Kraftwerk hat dann mit mir gemeinsam über 50 Tage an den Mischungen bei mir im Studio gearbeitet. Fritz, der ein erfahrener Surround-Mischer ist, hat grundsätzlich die Mischung gemacht, ich stand beratend zur Seite.
Wenn wir uns jetzt abseits der Musikproduktion mögliche Anwendungsfelder in der Industrie anschauen, sind da Museen, mit vielleicht einem Audio-Guide, Planetarien, Konzert-Locations, Stadien, Messen, Multifunktionsarenen und Freizeitparks zu nennen. Und vielleicht bietet die eine oder andere Installation nicht nur einen Entertainment-Faktor, sondern auch eine gewisse Funktionalität. Habe ich hier ein grundlegendes Anwendungsfeld vergessen?
Man könnte natürlich auch noch über mobil oder Autos sprechen. Bei Autos sehe ich das Thema ehrlicherweise allerdings noch nicht. Bei Audio-Guides und einer gewissen Funktionalität kommt auch die Interaktivität auf: Es passiert etwas, und darauf muss das Audiosignal reagieren. Das ist natürlich bei einer Festinstallation schwierig, weil nicht alle in einem runden Raum stehen, sondern sich frei bewegen und verschiedene Lautsprecher zu unterschiedlichen Zeiten das Richtige abspielen müssen. Das sind natürlich Stichworte, die zu dem Thema Immersive Audio dazugehören. Nicht vergessen darf man den Broadcast!
Kannst du uns in eine Installation in einem Planetarium mitnehmen?
Im Planetarium steht der Entertainment-Faktor im Vordergrund. Dort gibt es meist unterschiedliche oder auch gemischte Lautsprechersysteme wie beispielsweise in Hamburg. Die haben ein altes 5.1-Lautsprecher-System und irgendwann einmal ein Spatial-Audio-Lautsprechersystem dazubekommen. Dadurch haben sie die Möglichkeit, mit beliebigen Audioinhalten, Mehrkanal-Mischungen oder einzelnen Objekten im Lautsprechersystem interaktiv arbeiten zu können.
Im Planetarium in Heilbronn ist das Setup ähnlich. Dort kann das Publikum, das auf einem großen Teller sitzt, komplett um 180 Grad gedreht werden. Auf der einen Seite blicken die Besucher nach oben in den Dome, auf der anderen Seite ist eine Bühne. Die Show beginnt auf der Bühne, dann wird der Teller gedreht, und es geht im Dome weiter. Dabei muss sich natürlich die gesamte Audioszene mit allen Pannings und Positionen mitdrehen. Das kann der Spatial Audio Designer mit nur einem Knopf.
Im Science Dom in Heilbronn sitzt das Publikum auf einem drehbaren Teller.
Wie sieht es bei Konzert-Veranstaltungen aus, und wie kann man sich das immersive Erlebnis vorstellen?
Ein großer Unterschied zwischen einem Konzert und einem Dome ist, dass die Lautsprecher-Anordungen immer verschieden sind, weil die Locations auch unterschiedliche sind. Das andere Problem ist, dass die Locations im Vergleich zu einem Planetarium, was eher einer Kino-Anwendung ähnelt, riesig sind. Man kann beispielsweise nicht in einer Halle mit 50 auf 50 Meter vorne in den Center etwas vom Schlagzeug reinlegen und etwas anderes vom Schlagzeug nach hinten. Es gibt nur einen Ort, wo beides zusammen funktioniert, und das ist der FOH-Platz, an dem eingemessen wurde.
Das sind Dinge, auf die Prozessoren reagieren können müssen. Und die Produzenten brauchen eben die Tools, wie den Spatial Audio Designer, die das können. Mit dem Plug-in kreiert man den Content, mit unserer Hardware, dem Spatial Audio Designer Processor, spielt man den Content vor Ort über das gegebene Lautsprechersystem ab. Hier gibt es auch Systeme von L-Acoustics oder d&b, die sich auf diese Live-Anwendung in Verbindung mit ihrer Hardware fokussieren.
Woher weiß der Prozessor, wo die Lautsprecher positioniert sind? Gibt es dafür einen Editor? Und muss das Lautsprechersystem eingemessen werden?
Dafür kannst du ein Preset anlegen, in dem du die Lautsprecher-Anordnung positionierst, wie sie live ist. Die Abstände kannst du in einem Textfeld für die X-, Y-, und Z-Achse angeben. Im Hintergrund läuft ein Algorithmus per Power-Panning mit, da man mit Wellenfeldsynthese oder Ambisonics live nicht wirklich arbeiten kann, weil sie färben. Dieser Powerpanning-Algorithmus versucht, so wenig Lautsprecher wie möglich für die Position eines Audioobjekts zu verwenden, da damit die Lokalisierung so scharf wie möglich ist.
Das Lautsprechersystem muss auch richtig eingemessen sein. Die Signale müssen an einer Referenz
