Die KI-Technologie dürfte Film und Fernsehen in den kommenden Jahren nachhaltig prägen. Schon jetzt gibt es eine erste Serie, die fast vollständig mit Künstlicher Intelligenz produziert wurde. Entwickelt wird sie vom Münchner Unternehmen Storybook Studios, das zeigen will, dass eine solche Serie nicht nur machbar, sondern auch unterhaltsam ist.
Von Michael Förtsch
In den vergangenen Jahren hat sich Künstliche Intelligenz rasant entwickelt. Nichts zeigt das deutlicher als Text-zu-Bild- und Video-Generatoren. Während Midjourney, Stable Diffusion und DALL-E vor zwei Jahren visuell interessante, aber oft noch sehr skurrile Bilder hervorbrachten, sind ihre heutigen Kreationen manchmal kaum oder gar nicht von echten Fotos zu unterscheiden. Auch Video-KIs wie Gen-1 und Stable Video Diffusion sorgten einst vor allem für Lacher, weil die bewegten Bilder so absurd erschienen. Heutige Text- und Bild-zu-Video-Systeme wie Gen-3, Kling oder DreamMachine bringen dagegen Videos hevor, die selbst Hollywoodproduzenten begeistern können. Allerdings ist es kein Studio aus Los Angeles, das jetzt zeigt, was sich mit aktueller KI-Technologie bereits anstellen lässt, sondern ein junges Unternehmen aus München: Das Team von Storybook Studios hat eine Animationsserie für Kinder produziert, die fast ausschließlich durch Künstliche Intelligenz entstanden ist.
In der Serie Space Vets saust eine Crew von Tierärzten und Wissenschaftlern mit einem Raketenraumschiff ins All. Ihr Ziel? Außerirdische Zivilisationen und exotische Tiere auf fremden Welten zu entdecken und zu retten, wenn sie in Not geraten sind. In der ersten Episode landen sie zum Beispiel auf dem Planeten Wuffara, wo sich eine Stadt in eine Wüste zu verwandeln droht. Die Lösung? Die Truppe pflanzt ringsum einen Ring aus Bäumen, der die Versteppung verhindert. Gleichzeitig büxt Kater Lennox aus und droht in einem Sandsturm verloren zu gehen. „Jedes Abenteuer bringt Kindern spielerisch die Grundlagen der Biologie, Ökologie und Technik näher“, sagt Franziska Hansel von Storybook Studios zu 1E9. Außerdem sollen die Geschichten Spannung und einfach unterhaltsame Weltraumabenteuer bieten.
Der Look ist experimentell. Er verbindet moderne 3D-Render-Optik mit einem Illustrationsstil, wie man ihn von Hey Arnold! kennt. Es gibt also knallige Farben, dicke Striche, Figuren mit einfachen, aber ausdrucksstarken Gesichtern und Objekte wie das Raumschiff, die sich dynamisch durch räumliche Kulissen bewegen. Dass hier auf Künstliche Intelligenz gesetzt wurde, ist allenfalls für Kenner der Technik an einzelnen Details zu erkennen. Dabei, so Franziska Hansel, seien rund 80 Prozent der gesamten Serie mit Künstlicher Intelligenz produziert worden. Nur die Handlung und die Charaktere stammten komplett von der Autorin Anna Ludwig. Ansonsten sei es das Ziel gewesen, „das Potenzial von KI so weit wie möglich auszuschöpfen“.
Viel Open Source
Wie Franziska Hansel sagt, sei „alles Visuelle mit KI generiert, unter Anleitung und mit leichter Überarbeitung von Menschen“. Sowohl die 3D-Modelle der Charaktere und Requisiten als auch alle Texturen und Kulissen seien mit KI-Modellen erstellt worden. Dabei habe das kleine Team aus der bayerischen Landeshauptstadt versucht, kommerzielle Lösungen so weit wie möglich zu vermeiden. „Wir haben wo nur möglich auf lokal laufenden Open-Source- Tools gesetzt“, sagt Albert Bozesan, der als kreativer Leiter und AI Workflow Dev für das Spave-Vets-Projekt zuständig war, zu 1E9. „Also KIs, die auf unseren eigenen PCs laufen und nicht am Netz hängen. Das gibt uns die Freiheit, alles für unsere eigenen Zwecke weiterzuentwickeln und mit eigener Software zu kombinieren.“
Wir haben wo nur möglich auf lokal laufenden Open-Source-Tools gesetzt.
Albert Bozesan
Konkret setzte das Team unter anderem auf Modelle der Stable-Diffusion-Reihe, die aber speziell für das Projekt mit zusätzlichen Inhalten getunt und angepasst wurden. Dafür und für die Umsetzung wurde das komplexe, aber auch sehr mächtige Open-Source-Tool ComfyUI verwendet, mit dem sich Modelle, Prozesse und Arbeitsschritte rund um die Bildgenerierung anpassen und automatisieren lassen. Auch der Ton in Space Vets ist zum Teil KI-generiert. Die Sprache stammt zwar von einem Sprecher und einer Sprecherin, wurde aber mittels KI an die jeweiligen Charaktere angepasst. Um die Mund- und Lippenbewegungen an die gesprochenen Worte anzupassen, wurde wiederum ein Tool namens Resyncer verwendet.
Darüber hinaus hat Storybook auch eine Reihe von eigenen Werkzeugen verwendet. „Unser Regisseur und Lead Artist Sebastian Ungrad hat die KI-generierten Assets mithilfe seiner eigenen Animationsbibliothek zum Leben erweckt“, sagt Albert Bozesan. „Wir haben ein breites Spektrum an Möglichkeiten getestet und auch selbst entwickelt, um schließlich so effizient arbeiten zu können.“ Am Ende sei alles mit gängigen Werkzeugen der 3D-Animation und der Film- und Fernsehproduktion zusammengeführt worden. Der ganze Prozess sei also etwas aufwendiger gewesen, als nur ein paar Prompts in ein Textfeld einzugeben. Mehr möchte das Team von Storybook Studios noch nicht verraten. Denn: „Als erstes Studio mit diesem Workflow wollen wir ihn zunächst nur in unseren Projekten einsetzen.“
Wo wird Space Vets laufen?
Die Idee zu Space Vets kam dem Team vor einigen Monaten, wie Franziska Hansel erzählt. Es habe einige Diskussionen über die Machbarkeit gegeben, mehrere Tests der Technologie und der Arbeitsabläufe. Dann sei die erste Folge der Serie in nur 60 Tagen produziert worden. Bei vergleichbaren traditionellen Produktionen kann das mehrere Monate dauern. Die Künstliche Intelligenz habe dem Team bei vielen Arbeitsschritten viel Zeit erspart oder Arbeitsschritte überflüssig gemacht. Sei es bei der Erstellung von Texturen, der Animation oder auch der Tonabmischung.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Ganz reibungslos verlief die Produktion allerdings nicht. An einigen Stellen musste das Team um teilweise bekannte Probleme der KI-Tools herumarbeiten oder diese kaschieren. So tragen fast alle Charaktere in der Serie dicke Handschuhe, die ihre Hände und Finger verdecken, da deren korrekte Darstellung für viele KI-Modelle – sowohl in der Zeichnung als auch in der Animation – immer noch eine Herausforderung darstellen. Auch bei anderen Detailaspekten mussten die Inkonsistenzen der KI-Werkzeuge etwas überdeckt werden. „Hier half natürlich die Entscheidung für Science Fiction, wo man viele Buttons und Nonsens-Technik akzeptiert“, sagt Franziska Hansel. Aber letztlich habe es „bis auf die Korrektur grober Fehler“ keine großen Eingriffe oder Änderungen gegeben.
Das Team ist sich der Kritik an KI-Kunst und dem Training von KI-Modellen wie Stable Diffusion durchaus bewusst. Bei der Produktion hat das Team von Storybook daher sehr darauf geachtet, einen völlig eigenen Stil zu entwickeln. Auf keinen Fall wollte man ungewollt etwas plagiieren. „Unser Ziel ist es, mit KI neue und innovative Wege zu beschreiten, ohne dabei bestehende Rechte zu verletzen oder ethische Bedenken zu ignorieren“, so Franziska Hansel. Space Vets soll zeigen, dass das möglich ist. Und es soll nicht bei einem Experiment bleiben. Das Team plant bereits 4 Staffeln mit je 26 Folgen und führt derzeit Gespräche mit verschiedenen Sendern.
Die vollständige erste Episode von Space Vets ist auf der Website von Storybook Studios verfügbar.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!