Einer Forschungsgruppe der University of Maryland ist es gelungen, eine Methode zu entwickeln, um aus den Reflexionen in den Augen einer Person, die Umgebung zu rekonstruieren, die sie sieht. Möglich ist das mittels Künstlicher Intelligenz und hochaufgelöster Videoaufnahmen.
Von Michael Förtsch
Die Krimi-Serie CSI und vor allem ihr Ableger CSI: Miami haben Kultstatus. Und das nicht nur aufgrund opulent inszenierter Kriminalfälle und spannender Geschichten, sondern auch weil sich die Ermittlungsmethoden der fiktiven Polizisten immer wieder im Bereich der forensischen Fantasie und technischen Unmöglichkeit bewegen. Da werden DNA-Proben schon einmal binnen Minuten analysiert, Tatorte auf Basis von pixeligen Überwachungsaufnahmen als detaillierte 3D-Modelle rekonstruiert oder Spiegelungen in einem Auge soweit vergrößert, dass sich das Gesicht des Mörders darin ausmachen lässt. Es sind spektakuläre Übertreibungen, die die sonst unlösbaren Fälle für die CSI-Beamten erst lösbar machen. Zumindest bislang. Denn Künstliche Intelligenz rückt nun zumindest manches davon in den Bereich des Machbaren.
„Die reflektierende Natur des menschlichen Auges ist eine unterschätzte Quelle von Informationen darüber, wie die Welt aussieht“, schreibt ein Team der University of Maryland in einer aktuellen Studie. „Indem wir die Augen einer sich bewegenden Person abbilden, können wir durch die Reflexionen in den Augen mehrere Ansichten einer Szene außerhalb der direkten Sichtlinie der Kamera erfassen.“ Die Forscher haben also eine Möglichkeit entwickelt, aus den Spiegelungen im Auge einer Person die Umgebung zu rekonstruieren, die diese sieht – und das als dreidimensionales Modell.
Laut den Wissenschaftlern ist die Grundidee hinter der als Seeing the World through Your Eyes getauften Technologie vergleichsweise einfach. Mittels einer Software können aus einem hochaufgelösten Video mehrere Aufnahmen der Augen einer Person gemacht werden. Aus diesen können anschließend die Spiegelungen der Kulisse extrahiert werden, die diese sieht. Hat sich die Person während der Aufnahme bewegt, ist die Umgebung aus verschiedenen Blickwinkeln erkennbar. Dadurch kann mittels aktueller Software zur 3D-Modellierung und KI-Modellen zum „neuronalen Rendering“ eine räumliche Kulisse erzeugt werden. Denn die Künstliche Intelligenz kann die Lücken, Fragmente und „teilweise verfälschten Bildbeobachtungen“ basierend auf erlernten Inhalten schließen und vervollständigen.
An den Augenspiegelungen von Miley Cyrus und Lady Gaga scheiterte die Software
Wie die Forscher in ihrer Studie ausführen, sei die Umsetzung ihrer Idee mit zahlreichen Herausforderungen verbunden gewesen. Unter anderem mussten die Spiegelungen entzerrt werden, da das Auge einem gekrümmten Spiegel entspricht. Außerdem mussten die Reflexionen anschließend von der Struktur der Augen, unerwünschten Lichtreflexen, Verzerrungen durch Augenflüssigkeiten und anderen Einflüssen separiert werden. Das sei „ein seit langem bestehendes Problem“, wie es in der Studie heißt. Hierbei habe das Team daher eine Methode namens NeRF genutzt, die 2020 vorgestellt wurde und es erlaubt, bei spiegelnden oder halbtransparenten Oberflächen, die als 3D-Objekte gescannt werden, natürliche Reflexionen zu erhalten.
Durch die Kombination verschiedener Konzepte und Technologien werde es so nun möglich, aus Reflexionen auf der Oberfläche der Augen, eine mehr oder minder komplexe Umgebung zu rekonstruieren. Je nachdem, wie die Qualität des Ausgangsbildes und die Belichtung der Szene in den Augen ausfällt. In verschiedenen Experimenten konnte das Team alleine aus den Spiegelungen das Abbild eines Tisches mit Stofftieren, eines Klassenraums oder einer Küche extrahieren und als 3D-Umgebung erforschen.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Das Team versuchte außerdem, zu ermitteln, was Miley Cyrus oder Laga Gaga in den Musikvideos zu Wrecking Ball und Bad Romance gesehen haben, die sehr helle Portraitaufnahmen der Sängerinnen bieten. Doch hier waren die Ergebnisse nicht so „klar“, was die Forscher offen einräumen. Hauptsächlich, weil die Qualität und Auflösung der Videos keine ausreichenden Informationen für eine eindeutige Rekonstruktion lieferten. So konnten lediglich unförmige 3D-Objekte erzeugt werden, bei denen es sich aber wahrscheinlich um eine Kamera und einen Kameramann handelte.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!