Von Achim Fehrenbach
Nur wenige Tech-Start-ups haben einen derartigen Hype verursacht wie Magic Leap. Mit jahrelanger Geheimniskrämerei steigerte die amerikanische Firma die Erwartungen an das, was sie hinter verschlossenen Türen entwickelte, ins Unermessliche – und sammelte gleichzeitig Milliardensummen von Investoren ein. Als die Magic Leap One, eine Augmented-Reality-Brille, schließlich Mitte 2018 auf den Markt kam, musste sie diese Erwartungen fast zwangsläufig enttäuschen – nicht nur wegen des hohen Startpreises von rund 2000 Euro.
Gewiss, das Head-Mounted-Display, kurz: HDM, ist vollgestopft mit High-Tech: Es legt dreidimensionale, computergenerierte Inhalte über reale Objekte, indem es ein digitales Lichtfeld auf die Retina des Nutzers projiziert. Die derart „angereicherte“ Realität soll neue Möglichkeiten der Information und Interaktion bieten – zum Einsatz kommen soll die Technik nicht nur zur Unterhaltung, also für Games zum Beispiel, sondern auch in Aus- und Fortbildung, Medizin, Architektur und Ingenieurwesen. Die Magic Leap One deutete das Potenzial solcher Brillen aber bestenfalls an: Die Rezensenten bemängelten unausgegorene Inhalte und technische Einschränkungen, etwa ein zu schmales Sichtfeld. Von den Versprechungen des Firmengründers Rony Abovitz ist Magic Leap zum jetzigen Zeitpunkt jedenfalls noch meilenweit entfernt.
Dennoch könnte die schöne neue AR-Welt noch Wirklichkeit werden. Davon ist auch Aleissia Laidacker überzeugt. Als Director of Developer Experience kümmert sie sich um neue Inhalte und Tools für das Augmented-Reality-Headset von Magic Leap. Wir trafen sie bei der Entwicklerkonferenz Reboot Develop Red im kanadischen Banff, wo sie eine vielbeachtete Rede hielt.
Aleissia Laidacker zufolge sind die Fortschritte in verschiedenen Technologien so rasant, dass ihr Zusammenspiel in absehbarer Zeit den Durchbruch bringen wird. Bei ihrem Vortrag nannte sie verschiedene Schlüsseltechnologien, die Augmented Reality in bisher nicht gekanntem Ausmaß möglich machen werden, darunter Object Recognition, Volumetric Capture, Character AI, 5G und Edge Computing. Was sich dahinter verbirgt, wird weiter unten erklärt.
Überzeugende Inhalte dringend gesucht!
Neben den technischen Aspekten ging es in ihrem Talk aber auch darum, welche Herausforderungen Augmented Reality bzw. Mixed Reality, kurz: MR, an die Schöpfer von Inhalten stellt. Der Oberbegriff Mixed Reality umfasst dabei alle Systeme, die natürliche und künstliche Wahrnehmung vermischen. Er wird häufig verwendet, um komplexe Vorhaben von vergleichsweise simplen AR-Angeboten à la Pokémon Go abzugrenzen. Laidacker stellte mehrere Projekte vor, in denen Magic Leap gemeinsam mit Partnern die Möglichkeiten von Mixed Reality austestet.
Das firmeneigene Projekt Magicverse erwähnte die ehemalige KI-Spezialistin von Ubisoft allerdings nicht namentlich. CEO Rony Abovitz hatte das Projekt im Oktober 2018 angekündigt und in einem Interview erläutert. Das Magicverse soll der gesamten physischen Welt mehrere digitale Schichten hinzufügen, zum Beispiel mit Informationen über Energieversorgung, Gesundheit oder Mobilität. Auch wenn Laidacker das Magicverse nicht explizit nannte, drehte sich ein Teil ihrer Ausführungen genau darum, wie sich dieses Spatial Internet, also: räumliche Internet, umsetzen lässt.
Im Folgenden stellen wir kurz und bündig die Technologien vor, deren Zusammenspiel MR vorantreiben sollen.
Spatial Computing
„In den letzten Jahren konnten wir erleben, wie Augmented Reality ihren nächsten Schritt macht – hin zu Spatial Computing“, so Laidacker. „Darunter versteht man ein vollständiges digitales Abbild der echten Welt – mit digitalen Inhalten, die sich ihrer Umgebung bewusst sind und mit ihr interagieren.“ Ein Wohnzimmertisch wird so beispielsweise zu einer digitalen Landschaft oder einem digitalen Spieltisch. Voraussetzung sind Kameras und Sensoren, die reale Umgebungen erfassen – wie sie etwa in der Magic Leap One eingebaut sind.
Designer herkömmlicher Computerspiele brächten viel Erfahrung in der Gestaltung von Open Worlds mit, sagt Laidacker – sie selbst hat jahrelang für Ubisoft an Assassin’s Creed gearbeitet. Doch während in Games jedem Objekt – etwa einem Stuhl – feste Eigenschaften zugeordnet werden können, sei genau das in realen Umgebungen nicht eindeutig – zumindest nicht für Maschinen und Programme. Mittels Objekterkennung und Deep Learning kann die Umgebung jedoch mit semantischen Informationen angereichert werden: Stuhl und Tisch werden als solche identifiziert und definiert, was dann als Basis für digitale Inhalte dient. „Die Technologie für Objekterkennung mag noch in den Kinderschuhen stecken“, sagt Laidacker. „Aber da tut sich einiges.“
Der Trailer zu The Dead Must Die
Welche Mischformen von Spatial Computing gerade bei Games möglich sind, verdeutlichte Laidacker anhand einiger Beispiele. In Star Wars: Project Porg machen fluffige Gesellen das heimische Wohnzimmer unsicher, indem sie etwa den Fernseher oder smarte Lampen ein- und ausschalten. Das Internet of Things kann also dabei helfen, eine weitere Ebene von Mixed Reality aufzuspannen. Möglich ist aber auch die Einbindung physischer Requisiten: Als Beispiel nannte Laidacker die Experience The Dead Must Die , die Magic Leap in mehreren Flagship-Stores von AT&T inszenierte. In Anlehnung an Game of Thrones (S7E7) wurden echte Holzkisten aufgestellt, aus denen dann ein digitaler Untoter hervorkroch. Eine weitere Variante sind Location-Based Experiences, wie sie etwa das Künstlerkollektiv Meow Wolf mit seinem riesigen, per Mixed Reality steuerbaren Roboter bietet. Für A Jester’s Tale , das beim Sundance Film Festival 2019 gezeigt wurde, arbeitete Magic Leap mit dem Regisseur Asad J. Malik zusammen: Besucher betreten den physischen Nachbau eines Kinderzimmers, in dem sie dann per Mixed Reality mit der verstörenden Geschichte über Hausratten konfrontiert werden.
Der Trailer zu A Jester’s Tale
Volumetric Capture
Mixed-Reality-Anwendungen können durch lebensecht wirkende digitale Charaktere an Glaubwürdigkeit und Immersion gewinnen. Denn herkömmliche Computerspiele und Animationsfilme hatten lange das Problem des Uncanny Valley, des „unheimlichen Tals“. Darunter versteht man, dass abstrakte oder comichafte digitale Charaktere von Usern eher akzeptiert werden als digitale Charaktere, die Menschen fast – aber eben auch nur fast – gleichen und dadurch auf viele eher gruselig wirken.
Diese „Akzeptanzlücke“ habe sich durch Volumetric Capture weitgehend erledigt, sagt Laidacker: Dank dreidimensionaler Aufnahmeverfahren können reale Vorbilder immer präziser ins Digitale überführt werden. Magic Leap arbeitet mit der Royal Shakespeare Company zusammen, um digitale Schauspieler ins heimische Wohnzimmer zu bringen. Deren Avatare lassen sich dann auch nahezu beliebig skalieren – von winzig bis überlebensgroß. Die Technologie lässt sich natürlich auch in anderen Bereichen einsetzen, etwa bei virtuellen Vorlesungen oder Konferenzen: Nicht nur die Sprecher selbst, sondern auch Zuhörer könnten sich als Avatare aus der Ferne einklinken. Eine der größten Herausforderungen beim Volumetric Capture sieht Laidacker beim anfallenden Datenvolum: „Es werden so viele Daten aufgezeichnet, dass es eine Menge Rechenleistung braucht, um diese in Echtzeit-Experiences darzustellen.“
Royal Shakespeare Company. The Seven Ages of Man
Character AI
Um lebensechte digitale Charaktere geht es auch beim Einsatz von Künstlicher Intelligenz. Auch hier werde das Uncanny Valley durch unglaubwürdiges KI-Verhalten vertieft. Laidacker gibt ein Beispiel: Wir unterhalten uns gerade in Mixed Reality mit einer digitalen Figur, die uns im Wohnzimmer gegenübersitzt. Läuft nun plötzlich der nicht-digitale Haushund durch den Raum, sollte die KI in irgendeiner Form reagieren – zum Beispiel, in dem der Avatar zusammenzuckt und sagt, dass er keine Hunde mag. „Stellt euch vor, ihr könnt mit den Figuren intelligente Gespräche führen – und das in Echtzeit“, sagt Laidacker. In herkömmlichen Computerspielen sei lange versucht worden, Interaktivität und Handlungsfreiheit durch verzweigte Handlungsstränge zu erzeugen. Das habe auch viele Werke außerhalb der Games-Welt inspiriert, zum Beispiel das Theaterexperiment Sleep No More, die Serie Westworld oder Bandersnatch.
Für lebensnahe Charaktere in Games seien KI-Methoden wie GOAP oder HTN aber deutlich besser geeignet, so Laidacker: Statt eine bestimmte Menge an Handlungsalternativen vorzugeben, verleihen diese Methoden den Figuren eigene Ziele und Aufgaben. „GOAP und HTN kamen in Games bisher noch kaum zum Einsatz“, sagt Laidacker. „Einer der Gründe ist auch hier, dass viele Daten verarbeitet werden müssen. Rechenleistung und Arbeitsspeicher haben uns schon immer in unseren Gestaltungsmöglichkeiten bei Games eingeschränkt.“ Bei Mixed Reality sind diese Anforderungen besonders hoch. Worin liegt also die Lösung?
5G und Edge Computing
Den Durchbruch wird laut Laidacker die Kombination aus dem Mobilfunkstandard 5G und dem sogenannten Edge Computing bringen. „Über das Streaming, das 5G bietet, können wir große Datenmengen zugleich darstellen und mit ihnen interagieren“, so die Expertin. Ein System wie das Magicverse lebt ja gerade davon, dass grafisch anspruchsvolle Inhalte in Echtzeit an allen möglichen Orten abgerufen werden können. Edge Computing ist ein wichtiger Bestandteil dieses Systems. Als Spezialform des Cloud Computing verarbeitet es die Datenströme nicht an zentralen Netzwerkknoten, sondern an den Rändern des Netzwerks und teilweise auch lokal auf Endgeräten wie Notebooks und Smartphones: Das spart Rechenleistung und erhöht die Geschwindigkeit.
Laidacker klingt euphorisch, wenn sie über die Möglichkeiten spricht: „Wir sind auf dem Sprung zur nächsten Generation von Echtzeit-Computersystemen. Dieses Mal ist es aber nicht nur ein kleiner Hardware-Sprung. Dieser neue Sprung hier wird uns Game-Machern fast unendliche Verarbeitungskapazitäten zur Verfügung stellen.“ Den Reboot-Besuchern stellt Laidacker denn auch gleich die passenden Anschlussfragen: „Was würdet ihr mit dieser Technologie anfangen? Welche Games würdet ihr erschaffen?“
Was ist Edge Computing? Dieses Video erklärt es.
Der MR-Ausblick
Games mögen ein sehr naheliegendes Anwendungsfeld für Mixed Reality sein. Interaktivität, narratives Design und digitale Figuren lassen sich aber natürlich auch in anderen Bereichen zum Einsatz bringen – zum Beispiel in Bildung, Gesundheit und Transportwesen. „Indem wir digitale Inhalte in die reale Welt bringen, werden spielerische Ansätze in allen Lebensbereichen möglich“, sagt Laidacker. Diese Aussage trifft wohl auch dann zu, wenn Magic Leap selbst kein Erfolg werden sollte – schließlich arbeiten Firmen wie Microsoft und Google selbst an umfassenden MR-Systemen.
Aber wird MR nicht zu einem neuen Digital Divide führen, also zu einem Graben zwischen jenen, die diese Hardware besitzen – und jenen, die sie ablehnen oder schlichtweg zu teuer finden? „Bis zur Massenmarkt-Tauglichkeit ist es noch ein weiter Weg“, so Laidacker gegenüber 1E9. „Und das hängt auch stark von den passenden Inhalten ab. Wenn wir ein Ökosystem haben wollen, müssen wir Entwicklern die passenden Werkzeuge zur Verfügung stellen, damit sie Mixed-Reality-Experiences erschaffen können. Es macht Mut, dass sich viele große Firmen auf dem Gebiet engagieren. Wir müssen alle zusammenarbeiten, um dieses Ziel zu erreichen.“ Bleiben wir also gespannt.
Titelbild: Hiroshi Watanabe / Getty Images