Mit Synästhesie könnten wir von Herz zu Herz kommunizieren

Synästhetiker schmecken Zahlen. Sie sehen Farben, wenn sie Musik hören. Oder sie verbinden mit Wörtern bestimmte Muster. So eine Kopplung von Sinneseindrücken tritt bei rund vier Prozent aller Menschen auf. Bisher. Der japanische Game-Designer Tetsuya Mizuguchi sieht in der Synästhesie als Vorbild für die gesamte menschliche Kommunikation.

Von Achim Fehrenbach

In der Games-Branche genießt Tetsuya Mizuguchi einen legendären Ruf. Der 54-jährige Japaner entwickelte Videospiele wie Sega Rally Championship, Rez, Lumines oder Child of Eden , seine jüngsten Werke Rez Infinite (2016) und Tetris Effect (2018) setzen auf die immersive Kraft von Virtual Reality. Doch Mizuguchi will mehr: Mit seiner Firma Enhance arbeitet er an Spiel- und Kommunikationserfahrungen der nächsten Generation, etwa an haptischen Anzügen und Liegen. Er möchte unsere Sinne gekoppelt ansprechen.

Eine zentrale Rolle in Mizuguchis Arbeiten spielt Extended Reality , kurz XR. Das ist ein Sammelbegriff für verschiedene virtuelle Umgebungen, die Interaktionen zwischen Mensch und Maschine ermöglichen. XR umfasst unter anderem Virtual Reality, Augmented Reality und Mixed Reality. Jedes dieser Teiltechnologien hat ihre Vor- und Nachteile. Virtual Reality beispielsweise lässt uns völlig in digitale Welten eintauchen, isoliert uns aber auch von den anderen Nutzern. Bei Augmented Reality ist es genau umgekehrt: Die reale Welt wird einbezogen und um digitale Elemente angereichert, was aber auf Kosten der Immersion geht.

„Von Herz zu Herz und Seele zu Seele“

Mischformen versuchen, die Stärken beider Technologien zu kombinieren. Augmented Virtuality beispielsweise blendet Aufnahmen realer Objekte in virtuelle Umgebungen ein. Für Tetsuya Mizuguchi geht das alles aber noch nicht weit genug: Er will, zum Beispiel, auch die Haptik in das Gesamterlebnis integrieren. „Unsere Arbeit basiert auf Synästhesie beziehungsweise multimodalen Sinneseindrücken“, sagt Mizuguchi bei unserem Interview auf der Entwicklerkonferenz Reboot Develop Blue.

„Damit können wir viele Sinne verbinden und stimulieren – durch Geräusche, Bilder, Text und so weiter. Wir werden in der Lage sein, unsere Kommunikation zu verbessern: von Herz zu Herz und Seele zu Seele. Auf eine neue Art und Weise wird uns das viel Freude bereiten.“ Mizuguchi möchte Kommunikation ermöglichen, die sehr viel dichter und stärker ineinander verwoben ist als bisher. „Wir werden räumliche Beschränkungen überwinden können – und vielleicht auch zeitliche. Wir werden uns mit Erfahrungen anderer Personen in der Vergangenheit verbinden können.“

Das mag ein bisschen esoterisch klingen. Doch die bisherigen Arbeiten von Enhance haben bereits gezeigt, in welche Richtung es gehen soll. Beim Sundance Film Festival 2017 stellte Mizuguchi den Synesthesia Suit vor, einen haptischen Anzug, mit dem die Festivalbesucher Rez Infinite spielen konnte. Die Synesthesia Suit besteht aus 26 Aktoren, die über den Körper des Anzugträgers verteilt sind. Sie vibrieren in bestimmten Mustern, die mit der Musik des Spiels korrespondieren. Für die Zuschauer wird das Ganze durch aufleuchtende LEDs visualisiert. Entwickelt wurde der Anzug im Synesthesia Lab, das sich aus Mitgliedern von Enhance, Rhizomatiks, Resonair und Embodied Media zusammensetzt.

Ein weiterer Prototyp der Experimentier-Community ist Synesthesia X1, eine haptische Liege mit insgesamt 44 vibrierenden Aktoren. Für „Synesthesia X1“ kooperierten Mizuguchi & Co. mit dem japanischen Musiker evala („See by Your Ears“). Das Ziel: Eine neue musikalische Erfahrung, bei der unser Körper selbst zum Medium wird – und wir in einen Flow geraten.

Gedanken durchzucken uns, doch Kommunikation ist eindimensional

Mizuguchi ist überzeugt, dass ein synästhetisches Medium unsere Kommunikation verbessern kann, weil es viel eher dem entspricht, was in unserem Bewusstsein abläuft. „Wenn man eine Idee hat oder von einem Gedanken durchzuckt wird, welche Form hat das dann? Ich denke, das besteht nicht nur aus Text, Geräuschen oder Bildern. Es ist eher – auf ganz natürliche Weise – ein multimodaler Mix“, sagt er. „Um aus ihm aber etwas herauszuholen, müssen wir etwas aufschreiben, in Text überführen – ganz egal, ob das jetzt Japanisch, Deutsch oder Englisch ist. Vielleicht ist es auch eine Zeichnung oder eine Reihenfolge von Geräuschen. So ist das in der Geschichte unserer Kommunikation stets abgelaufen. Aber das ist nicht multimodal.“

Um etwas auszudrücken müsse man es – noch! – beschneiden, verändern oder umschreiben. Damit reduziere man zwangsläufig das Ausdrucksspektrum. Die Lösung liegt für Mizuguchi in synästhetischer Technologie: „In der Zukunft wir es für uns ganz normal sein, dreidimensionale Bilder von Gedanken zu haben – auf eine sehr experimentelle, sehr intensiv erlebbare Weise. Plötzlich kann ich dann fühlen: Wow, das ist ein Bild!“ Das, so Mizuguchi, ließe sich dann auch via Technologie kommunizieren. Dreidimensionale Gedankenbilder würden transportierbar gemacht.

Was das etwa für die Zukunft des Internet bedeuten könnte, lässt sich nur erahnen. Vielleicht werden Texte und „flache“ Bilder, die das derzeitige Internet dominieren, dann weitgehend überflüssig. Da liegt ein Vergleich mit dem Neuralink-Projekt von Elon Musk nahe, das Gedanken les- und reproduzierbar machen soll.

Auf Brain-Computer-Interfaces (BCIs) wie Neuralink angesprochen, reagiert Mizuguchi aber zurückhaltend: „Ich bin mir sicher, dass das in der nahen Zukunft möglich sein wird – aber das interessiert mich nicht so sehr.“ Ihm geht es ganz offensichtlich mehr um die Kommunikation komplexer Gefühle als um die – wie auch immer geartete – Reproduktion von Gedanken. Woran Enhance derzeit arbeitet, will Mizuguchi noch nicht verraten: „Noch ist nicht der richtige Zeitpunkt, über Details zu sprechen – aber wir wollen in Richtung XR gehen.“ Wir sind gespannt auf die nächste Stufe von Mizuguchis synästhetischer Vision.

Teaser-Bild: Achim Fehrenbach

10 Like

Sehr cooles Projekt, schöner Beitrag! Nur das mit den 4% müsste man relativieren. Forscher wie Aranda Krishna und Charles Spence legen nahe, dass jegliche Wahrnehmung darauf beruht - vielleicht bei 96% der Menschen weniger bewusst. Im multisensory Marketing werden diese Effekte schon seit Jahrzehnten gezielt ausgenutzt. Platos Kratylos beschrieb schon vor Ewigkeiten, was heute in der Sprachwissenschaft unter „Soundsymbolism“ diskutiert wird und nichts anderes als eine synästhetische Verbindung zwischen Wortklang und Bedeutung beschreibt. Wer sich dafür interessiert, sollte unbedingt mit seinen Homies den Kiki-Bouba-Test machen, dauert 30 Sekunden.

3 Like

So, Kiki-Bouba-Test erfolgreich durchgeführt. Das heißt, wie sind wohl fast alle kleine Synästhetiker. Finde die Idee, mehr Sinne gleichzeitig gekoppelt anzusprechen, auch faszinierend. Aber noch fehlt mir ein bisschen die Vorstellungskraft, wie sich das genau bewerkstelligen lassen könnte, ohne die Leute in einen Anzug und eine VR-Brille zu stecken. Bin daher sehr gespannt, was Tetsuya Mizuguchi als nächstes präsentiert.

Halte uns bitte up to date @achim.fehrenbach :slight_smile:

2 Like

Feiner Artikel, danke! Ich habe mich in den letzten Jahren sehr stark mit dem befasst, was in Sachen XR in Japan läuft. Bandai Namco ist für mich da auch ein herausragendes Beispiel (ich bin kommende Woche wieder da und kann endlich „Pacman Challenge VR“ spielen, hurra!). Die bauen seit 2-3 Jahren multihaptische VR Arcades. Auch die VTuber gehen in die Richtung. @Wolfgang - ich poste hier einfach mal „Fremdlinks“ zu Artikeln, die ich geschrieben habe, ich hoffe, dass das für Dich passt.

VR Arcades Bandai Namco: https://t3n.de/news/tekken-pac-man-macher-vr-neue-856992/
VTuber: https://www.lead-digital.de/vtuber-livestream-fame-ohne-gesichtsverlust/
Ein im Hochhaus nachgebautes Flugzeug mit VR-Elementen: https://www.lead-digital.de/ein-vr-traum-erster-klasse/

3 Like

Hehe, freut mich. Ja, diese Anschauung ist schwer vorstellbar und noch lange kein Mainstream. Diese synästhetischen Effekte (die permanent unsere Denken bestimmen) kann man auf zwei Weisen beeinflussen:

Mehr Beispiele für andere Sinne in meinem Wikipedia-Artikel zu Sensorisches Marketing.

2 Like

wollte mal fragen, wie es Euch erging mit Rez Infinite in der VR. Ich habe dazu einige begeisterte Rezensionen gelesen („synästhetische Erfahrung par excellence“, so was in der Art), war selbst aber beim Spielen maßlos enttäuscht.

1 Like

Habe es leider nicht gespielt, aber vielleicht könnt ihr was dazu sagen @Michael oder @achim.fehrenbach oder @Dom? Ihr seid doch so richtige Gamer :wink:

Das letzte Mal als ich REZ in VR gespielt hab, war das eine visuell und akustisch beeindruckende Erfahrung. Allerdings ist mir dabei reichlich übel geworden.

2 Like

Ich habe heute nochmal „Rez Infinite VR“ gespielt und dabei durchaus synästhetische Effekt festgestellt. Ein Beispiel: Wenn ich durch den Tunnel schwebe, muss ich heranfliegende Gegner abschießen. Dabei ziele ich durch Kopfbewegungen. Die Gegner tauchen in Schwärmen auf, die bestimmte Muster haben - ich bewege also den Kopf nach diesen Mustern, die Musik passt sich an die Bewegungen an. In diesen Momenten habe ich wirklich das Gefühl, dass Muster Musik und Bewegung sind - ein synästhetisches Erlebnis, bei dem ich in einen starken Flow gerate. Interessanterweise war das Flow-Gefühl im neu hinzugefügten „Area X“ schwächer, obwohl die Grafik besser ist. Das liegt wahrscheinlich daran, dass man hier nicht wie auf Schienen gleitet, sondern selbst fliegen muss. Auf jeden Fall ein sehr schönes Spiel. :slight_smile:

3 Like