Vor einem Jahr sorgte der deutsche Designer Nicolas Neubert mit einem Trailer für einen fiktiven Kinofilm für Aufsehen, den er weitgehend mit KI-Werkzeugen wie Midjourney und Gen-2 erstellt hatte. Heute arbeitet er beim weltweit beachteten KI-Start-up Runway in den USA an der Zukunft von KI-Videos mit und versucht, Künstliche Intelligenz und die Kreativszene zusammenzubringen.
Von Michael Förtsch
Sie sehen noch nicht ganz überzeugend aus. Wenn Köpfe geneigt werden, verzerren sich die Gesichtszüge. Wenn Menschen oder Tiere laufen, scheinen sie manchmal über den Boden zu gleiten. Bei Szenen mit herumtollenden Hundewelpen werden aus drei flauschigen Tieren plötzlich vier oder fünf. Dennoch sind die Möglichkeiten von Programmen wie Gen-3, Pika, Kling, Dream Machine oder Sora, die aus Bildern, kurzen Videoschnipseln oder sogar einfachen Texteingaben mit Hilfe riesiger KI-Modelle bewegte Bilder erzeugen, beeindruckend. Manche sehen in ihnen sogar Werkzeuge, die eine ganze Medienrevolution auslösen könnten und das Filmemachen in gleicherweise demokratisieren, wie einst das Smartphone die Fotografie.
Einer, der an der Revolution mitarbeitet, ist Nicolas Neubert. Der Deutsche landete im vergangenen Jahr einen viralen Hit mit einem Trailer für einen fiktiven Science-Fiction-Film namens Genesis. Dieser zeigt eine dystopische Zukunft, in der die Menschheit von einer dunklen Macht versklavt wurde und nun den Aufstand plant. Es sind epochale Momente: Eine Gruppe von Menschen steht vor einem riesigen Robotermonster, eine brennende Stadt ist zu sehen und ein gigantischer Stahlmoloch in einer leeren Landschaft. Doch keine der Szenen wurde mit einer Kamera gefilmt, fotografiert oder in 3D modelliert. Die insgesamt 49 Sekunden wurden vollständig mit Künstlicher Intelligenz kreiert. Die Bilder erstellte Nicolas Neubert mit Midjourney und übersetzte sie dann mit dem damals noch neuen Service Gen-2 von Runway in bewegte Animationen.
Wie Neubert zu 1E9 sagt, hat er „immer an der Schnittstelle von Tech(nologie) und Kreativität“ gelebt und gearbeitet. Unter anderem beim Produktdesign für Smartphone-Apps und Digitalisierung für den deutschen Mittelstand – zum Beispiel bei der VW-Tochter Elli. Auf die generative Künstliche Intelligenz sei er aber nicht früher gestoßen als viele andere auch. „Die ersten beiden Tools, die sozusagen auf dem Radar gelandet sind, waren für mich ChatGPT und DALL-E, das mich damals aber noch nicht so überzeugt hat“, erinnert er sich. Dann sei er auf den Text-zu-Bild-Dienst Midjourney gestoßen, der „viel besser und beeindruckender war“ als vieles andere und mit dem er über Wochen hinweg Tausende von Bildern generiert habe. Und dann, „als Runway mit dieser Video-KI ins Bild kam“, habe er die genutzt, um sprichwörtlich Bewegung ins Bild zu kriegen.
„Es war eine Möglichkeit, die Bilder, die ich im Kopf hatte, in eine reale Szene umzusetzen“, sagt Neubert. Inspiriert wurde er dabei vor allem von seiner Liebe zur Science-Fiction. „Das hat mich schon immer begleitet“, sagt er. Von Dune über Star Wars bis hin zu Blade Runner und den Marvel-Filmen schaue er alles gerne im Kino und auf Streaming-Diensten. Wobei er selbst gerne versucht, Science Fiction zu schaffen, die in der Realität verankert und geerdet ist – oder sich zumindest so anfühlt. „Ich mag es, wenn es nicht so weit weg ist“, sagt er. „Es ist wie mit der Künstlichen Intelligenz. Das war lange Zeit Science Fiction, aber jetzt ist es das nicht mehr. Dieses Gefühl versuche ich einzufangen und mit einem eigenen Look zu kombinieren.“
Es geht um Gefühl und Ästhetik
Inzwischen ist Nicolas Neubert selbst Teil eines KI-Start-ups. Denn durch den Genesis-Trailer wurde auch die Firma Runway auf ihn aufmerksam. „Wir kamen ins Gespräch, tauschten uns aus“, sagt er. „Wir haben Projekte entwickelt, hier und da zusammengearbeitet, mit Kunden von Runway selbst. Dann kam irgendwann die Frage auf, ob wir nicht offiziell zusammenarbeiten sollten.“ Seit diesem Jahr gehört er zum Creative Staff des New Yorker Start-ups. Er sitzt zwischen Forschung und Entwicklung, den Nutzern und den großen Unternehmenskunden, wie er sagt. Denn: „Wir glauben, dass der menschliche Faktor extrem wichtig ist“, so der KI-Künstler. „Vor allem, wenn es um Ästhetik geht, darum, wie sich bewegte Bilder anfühlen; welche Emotionen sie vermitteln.“
Dazu experimentiert er mit Modellen wie beispielsweise dem gerade vorgestellten neuen Gen-3 von Runway und zeigt auch öffentlich, was damit bereits möglich ist: welche optische Qualität es liefert, welche Prompts welche Bilder und Bewegungen erzeugen. „Es ist eine deutliche Verbesserung in Bezug auf Genauigkeit, Konsistenz und Bewegung im Vergleich zu Gen-2“, sagt er. „Außerdem haben wir großen Wert auf realistische und emotionale Charaktere gelegt. Die Qualität der Menschen wurde stark verbessert und das große Thema Morphing – verzerren und verschmieren von Gesichtern, Gliedmaßen und Co. – ist jetzt etwas, worüber wir lachen können.“
Außerdem arbeitet er mit anderen Firmen, Studios und auch freien Künstler, die die Technologie kennenlernen und für sich nutzen wollen. „Wir wollen ihnen helfen, ihre Ideen umzusetzen, Workflows und Strukturen dafür zu entwickeln“, sagt er. Das Interesse sei groß. Einerseits seien AI-Video-Modelle wie von Runway und anderen eine disruptive Technologie, die durchaus kritisch gesehen werde. Sie seien aber auch eine Technologie, die neue Möglichkeiten des Arbeitens eröffne, die helfen können, Kreativität zu entfalten und die Grenzen des Machbaren für Kreative zu verschieben.
Wie Neubert sagt, gibt es viele talentierte Künstlerinnen und Künstler, die große Ideen für spektakuläre Werke haben, aber nicht in der Lage sind, diese in die Tat umzusetzen. Ihnen fehle bisher die Möglichkeit, ihre Kreativität auszuleben. „Es liegt nicht in ihrer Reichweite, weil man dafür Kulissen, Kostüme, viele verschiedene teure Werkzeuge braucht oder weil sie nicht das richtige Medium gefunden haben“, so der KI-Künstler. „Diese neuen KI-Werkzeuge, die schaffen jetzt neue Optionen. Du kannst plötzlich große Ideen in deinem Wohnzimmer angehen. Auch nebenbei, wenn du in deinem Job eigentlich etwas ganz anderes arbeitest.“ Künstliche Intelligenz, glaubt Nicolas Neubert, würde für viele Kreative die Hürden senken, sich zu verwirklichen. Vor allem viele junge Kreative stünden der Technik bereits offen und neugierig gegenüber.
Mehr Kontrolle
Bislang sind rein KI-generierte Filmsequenzen trotz aller Fortschritte noch leicht als solche zu erkennen. Und nicht immer ist klar, welches Ergebnis ein Modell am Ende liefert. Für Neubert ist das aber nicht unbedingt ein großes Manko. „Manchmal muss man einfach kreativer sein und diese Fehler mitnehmen“, sagt er. Er selbst hat in den vergangenen Monaten mit Musikern zusammengearbeitet, digitale Bühnenbilder entworfen, die auf riesigen Leinwänden abgespielt wurden. Die oft noch wabernde Bildqualität könne da durchaus als Stil und Art Direction durchgehen, den Bildern etwas Besonderes und Abstraktes verleihen. Aber dennoch: „Bildauflösung und Qualität sind natürlich extrem wichtig“, sagt Neubert. Noch wichtiger sei allerdings ein anderes Element: die Kontrolle.
„Das ist einer der großen Punkte“, sagt er. „Wir hören oft, dass [KI] wie Lotto ist. Dass es oft sehr schwierig ist, genau das ins Bild oder Video zu bekommen, was man sich vorstellt. Dass Dutzende von Videos generiert werden, von denen eines das ist, was man wirklich will.“ Das sei also einer der Komplexe, der in den nächsten Jahren wohl viel Aufmerksamkeit erfahre – und der auch darüber entscheide, wie schnell sich die Technologie durchsetzen werde. „Wenn du ein Konzept hast, ein Storyboard, das du genau oder zumindest so genau wie möglich umsetzen willst, dann reicht eine Textbox nicht aus“, sagt er. „Niemand will einen Roman schreiben, um die Kamera genauso zu bewegen, wie man es sich vorstellt.“
Es werde aber bereits viel getan, um den Nutzern mehr Kontrolle zu geben, sagt Neubert. Mit der Video-KI Gen-2 von Runway ist es seit einigen Monaten möglich, grob Kamerarichtungen vorzugeben, gezielt einzelne Bereiche für die Animation auszuwählen. „Als ich bei Runway angefangen habe, gab es das noch nicht“, sagt Neubert. Bei der neuen Video-KI Gen-3 sind all diese Möglichkeiten von Anfang an integriert „Darüber hinaus wird es weitere Werkzeuge geben, die eine feinere Kontrolle über Struktur, Stil und Bewegung ermöglichen“, so Neubert. Stilistisch kontrollierbarer, konsistenter und damit auch erzählerischer soll sich KI-Video damit einsetzen lassen.
Die Entwicklung sei rasant – nicht nur bei Runway, sondern insgesamt. „Vieles, worüber heute gesprochen wird, gab es vor einem Jahr noch nicht“, sagt der KI-Künstler. „Wir sind quasi im Jahr Null, wir stehen noch ganz am Anfang dieser Bewegung und vieles wird noch kommen.“ Aber schon jetzt hat sich KI-Video einen Platz im Film geschaffen. Wie etwa Kurzfilme wie A Tree Once Grew Here oder Where Do Grandmas Go When They Get Lost? zeigen.
Dass KI-generierte Sequenzen schon bald ihren Weg in klassische Kinofilme und solche von Streaming-Anbietern wie Netflix, Max oder Amazon Prime Video finden werden, gilt vielen Branchenexperten als ziemlich sicher. Denn letztlich würden die Text- und Bild-zu-Video-Generatoren einfach zu einem weiteren Tool – neben den bereits etablierten klassischen computergenerierten Effekten und KI-Tools wie Deepfakes, mit denen etwa Gesichter von Stuntmen ersetzt oder Schauspieler verjüngt werden. „Künstliche Intelligenz wird dort zum Einsatz kommen, wo sie in das kreative Interface passt“, sagt Nicolas Neubert daher. Er glaubt, dass es nicht mehr lange dauern wird, bis zum Beispiel das erste Netflix-Special eines komplett KI-generierten Films erscheint.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Keine Berührungsängste
Trotz des schnellen technologischen Fortschritts und der Begeisterung vieler Kreativer, gibt es immer noch Berührungsängste und Unsicherheiten. Für Nicolas Neubert liegt das größte Problem in der Natur der Technologie selbst. „Es ist ein unglaublich polarisierendes Thema“, sagt er ganz offen. Es gebe viele Fragen, viele Vorbehalte und viel Skepsis von verschiedenen Seiten – aber auch viele Missverständnisse. „Ich kann auch alle Seiten verstehen“, sagt er. „Ich glaube, da ist viel Aufklärungsarbeit nötig, wie werden diese Modelle aufgebaut, was sind die richtigen Gesetze, was machen wir mit dem Urheberrecht?“
Denn einer der größten Kritikpunkte an Text/Bild-zu-Video-Modellen ist die Frage, mit welchen Inhalten sie trainiert wurden, ob und wie die Urheber des Trainingsmaterials um Erlaubnis gefragt wurden und wie sie vergütet werden könnten. „Ich hoffe, dass sich jedes KI-Unternehmen zum Ziel setzt, eine Form der Einigung mit der Kreativ-Community zu finden“, sagt Neubert – und verweist etwa auf eine Kooperation zwischen Runway und Getty, aus der ein neues Videomodell hervorgehen soll, das mit nachweislich von den Urhebern lizenzierten Daten aus den Datenbanken der Bild- und Videoagentur gespeist wird. Es stellt sich aber auch die Frage, ob und wie KI-generierte Inhalte selbst als kreatives Werk geschützt werden können.
„Ich glaube, dass ein Umfeld geschaffen werden muss, um Vertrauen aufzubauen, um sich auszutauschen, um Verantwortlichkeiten zu definieren“, sagt Neubert. „Da sehe ich jeden, der in dieser Industrie arbeitet, in der Verantwortung, das Beste für alle zu wollen. Denn niemand kann wollen, dass Werke, Inhalte und anderes geklaut werden und jemand anderes davon profitiert.“ Doch genauso sieht Neubert die kreative Szene in der Pflicht, Künstliche Intelligenz als Werkzeug nicht pauschal und aufgrund von vorgefassten Meinungen und teils falschen Vorstellungen abzulehnen. „Ich würde einfach appellieren, offen für Veränderungen zu sein“, sagt er. „Denn mit diesen Technologien kommen auch viele neue Möglichkeiten, sich inspirieren zu lassen und diese Techniken in die eigene Arbeitsweise zu integrieren.“
Es gebe viele Möglichkeiten zum Ausprobieren von Künstlicher Intelligenz als Kreativwerkzeug ohne eine große Verpflichtung einzugehen. Seien es Dienste wie Midjourney, Gen-2/3, Stable Diffusion oder auch ChatGPT, die ein Gefühl für die Technologie vermitteln, ohne dass große technische Vorkenntnisse oder viel Einarbeitung nötig sind. „Hier kann man einfach ein paar Sachen in die Textboxen werfen und schauen, was passiert“, sagt Neubert. Das könne praktisch jeder. „Es ist völlig in Ordnung, wenn Kreative dann sagen: Nein, das ist nichts für mich“, so Neubert weiter. „Aber ich finde es unglaublich wichtig, über diese Technologie zu sprechen, die so viel Aufregung verursacht und an allen Fronten eine Innovation sein kann.“
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!