Von Achim Fehrenbach
In der Games-Branche genießt Tetsuya Mizuguchi einen legendären Ruf. Der 54-jährige Japaner entwickelte Videospiele wie Sega Rally Championship, Rez, Lumines oder Child of Eden , seine jüngsten Werke Rez Infinite (2016) und Tetris Effect (2018) setzen auf die immersive Kraft von Virtual Reality. Doch Mizuguchi will mehr: Mit seiner Firma Enhance arbeitet er an Spiel- und Kommunikationserfahrungen der nächsten Generation, etwa an haptischen Anzügen und Liegen. Er möchte unsere Sinne gekoppelt ansprechen.
Eine zentrale Rolle in Mizuguchis Arbeiten spielt Extended Reality , kurz XR. Das ist ein Sammelbegriff für verschiedene virtuelle Umgebungen, die Interaktionen zwischen Mensch und Maschine ermöglichen. XR umfasst unter anderem Virtual Reality, Augmented Reality und Mixed Reality. Jedes dieser Teiltechnologien hat ihre Vor- und Nachteile. Virtual Reality beispielsweise lässt uns völlig in digitale Welten eintauchen, isoliert uns aber auch von den anderen Nutzern. Bei Augmented Reality ist es genau umgekehrt: Die reale Welt wird einbezogen und um digitale Elemente angereichert, was aber auf Kosten der Immersion geht.
„Von Herz zu Herz und Seele zu Seele“
Mischformen versuchen, die Stärken beider Technologien zu kombinieren. Augmented Virtuality beispielsweise blendet Aufnahmen realer Objekte in virtuelle Umgebungen ein. Für Tetsuya Mizuguchi geht das alles aber noch nicht weit genug: Er will, zum Beispiel, auch die Haptik in das Gesamterlebnis integrieren. „Unsere Arbeit basiert auf Synästhesie beziehungsweise multimodalen Sinneseindrücken“, sagt Mizuguchi bei unserem Interview auf der Entwicklerkonferenz Reboot Develop Blue.
„Damit können wir viele Sinne verbinden und stimulieren – durch Geräusche, Bilder, Text und so weiter. Wir werden in der Lage sein, unsere Kommunikation zu verbessern: von Herz zu Herz und Seele zu Seele. Auf eine neue Art und Weise wird uns das viel Freude bereiten.“ Mizuguchi möchte Kommunikation ermöglichen, die sehr viel dichter und stärker ineinander verwoben ist als bisher. „Wir werden räumliche Beschränkungen überwinden können – und vielleicht auch zeitliche. Wir werden uns mit Erfahrungen anderer Personen in der Vergangenheit verbinden können.“
Das mag ein bisschen esoterisch klingen. Doch die bisherigen Arbeiten von Enhance haben bereits gezeigt, in welche Richtung es gehen soll. Beim Sundance Film Festival 2017 stellte Mizuguchi den Synesthesia Suit vor, einen haptischen Anzug, mit dem die Festivalbesucher Rez Infinite spielen konnte. Die Synesthesia Suit besteht aus 26 Aktoren, die über den Körper des Anzugträgers verteilt sind. Sie vibrieren in bestimmten Mustern, die mit der Musik des Spiels korrespondieren. Für die Zuschauer wird das Ganze durch aufleuchtende LEDs visualisiert. Entwickelt wurde der Anzug im Synesthesia Lab, das sich aus Mitgliedern von Enhance, Rhizomatiks, Resonair und Embodied Media zusammensetzt.
Ein weiterer Prototyp der Experimentier-Community ist Synesthesia X1, eine haptische Liege mit insgesamt 44 vibrierenden Aktoren. Für „Synesthesia X1“ kooperierten Mizuguchi & Co. mit dem japanischen Musiker evala („See by Your Ears“). Das Ziel: Eine neue musikalische Erfahrung, bei der unser Körper selbst zum Medium wird – und wir in einen Flow geraten.
Gedanken durchzucken uns, doch Kommunikation ist eindimensional
Mizuguchi ist überzeugt, dass ein synästhetisches Medium unsere Kommunikation verbessern kann, weil es viel eher dem entspricht, was in unserem Bewusstsein abläuft. „Wenn man eine Idee hat oder von einem Gedanken durchzuckt wird, welche Form hat das dann? Ich denke, das besteht nicht nur aus Text, Geräuschen oder Bildern. Es ist eher – auf ganz natürliche Weise – ein multimodaler Mix“, sagt er. „Um aus ihm aber etwas herauszuholen, müssen wir etwas aufschreiben, in Text überführen – ganz egal, ob das jetzt Japanisch, Deutsch oder Englisch ist. Vielleicht ist es auch eine Zeichnung oder eine Reihenfolge von Geräuschen. So ist das in der Geschichte unserer Kommunikation stets abgelaufen. Aber das ist nicht multimodal.“
Um etwas auszudrücken müsse man es – noch! – beschneiden, verändern oder umschreiben. Damit reduziere man zwangsläufig das Ausdrucksspektrum. Die Lösung liegt für Mizuguchi in synästhetischer Technologie: „In der Zukunft wir es für uns ganz normal sein, dreidimensionale Bilder von Gedanken zu haben – auf eine sehr experimentelle, sehr intensiv erlebbare Weise. Plötzlich kann ich dann fühlen: Wow, das ist ein Bild!“ Das, so Mizuguchi, ließe sich dann auch via Technologie kommunizieren. Dreidimensionale Gedankenbilder würden transportierbar gemacht.
Was das etwa für die Zukunft des Internet bedeuten könnte, lässt sich nur erahnen. Vielleicht werden Texte und „flache“ Bilder, die das derzeitige Internet dominieren, dann weitgehend überflüssig. Da liegt ein Vergleich mit dem Neuralink-Projekt von Elon Musk nahe, das Gedanken les- und reproduzierbar machen soll.
Auf Brain-Computer-Interfaces (BCIs) wie Neuralink angesprochen, reagiert Mizuguchi aber zurückhaltend: „Ich bin mir sicher, dass das in der nahen Zukunft möglich sein wird – aber das interessiert mich nicht so sehr.“ Ihm geht es ganz offensichtlich mehr um die Kommunikation komplexer Gefühle als um die – wie auch immer geartete – Reproduktion von Gedanken. Woran Enhance derzeit arbeitet, will Mizuguchi noch nicht verraten: „Noch ist nicht der richtige Zeitpunkt, über Details zu sprechen – aber wir wollen in Richtung XR gehen.“ Wir sind gespannt auf die nächste Stufe von Mizuguchis synästhetischer Vision.
Teaser-Bild: Achim Fehrenbach
