KI-Unternehmen arbeiten daran, KI-Modelle immer größer zu machen und mit immer mehr Daten zu trainieren. Nicht so das amerikanische Start-up Liquid AI: Es will kleinere und besser steuerbare Modelle ermöglichen. Eine der Entwicklerinnen warnt im Gespräch mit 1E9 außerdem davor, zu blind in die KI-Zukunft zu gehen.
Von Michael Förtsch
Die Richtung bei der Entwicklung von Künstlicher Intelligenz scheint klar. Immer größere Modelle werden mit immer mehr Daten trainiert. Skalierung nennt sich das. Und wenn es nach einigen KI-Forschern geht, soll am Ende eine Allgemeine Künstliche Intelligenz stehen – eine Künstliche Intelligenz also, die denken und lernen kann wie ein Mensch. Um dies zu erreichen, setzen sowohl Start-ups wie OpenAI oder Anthropic als auch etablierte Tech-Giganten wie Google auf eine bestimmte KI-Architektur: die sogenannten Generative Pre-Trained Transformers, kurz: GPTs. Das sind jene Arten von KI-Modellen, die hinter ChatGPT, Claude oder auch der LLaMA-Serie stehen. Doch eine wachsende Zahl von Entwicklern ist überzeugt, dass diese GPTs bald an ihre Grenzen stoßen könnten und es neue Ansätze und Ideen für eine Zukunft braucht, in der Künstliche Intelligenz wirklich eine zentrale Rolle spielen soll.
„Keine Transformer, das ist unsere Kernidee“, sagt auch Anastasia Borovykh von Liquid AI im Gespräch mit 1E9. Das Start-up mit derzeit 40 Mitarbeitern wurde erst 2023 von einem Team um die Robotikforscherin Daniela Rus vom Massachusetts Institute of Technology ausgegründet, auch der KI-Experte Joscha Bach ist dabei. Das Ziel des Unternehmens: Liquid Foundation Models als Alternative zu Transformer-Modellen zu erforschen und zu entwickeln. „Denn Transformer sind teuer, brauchen viel Speicher und viel Rechenleistung“, sagt die Mathematikerin Borovykh, die bei Liquid AI als Machine Learning Scientist arbeitet. Liquid Foundation Models sollen gegenüber den generativ vortrainierten Transformern einige entscheidende Vorteile haben. Das mache sie, wie das Start-up wirbt, zu den „KI-Modellen der Zukunft“.
Bei gleichen Fähigkeiten und Leistungen sollen sie deutlich kompakter sein und weniger Strom verbrauchen. Dies würde durch eine stringente Optimierung der Modellarchitektur erreicht, so dass weniger der digitalen Neuronen benötigt werden. Dadurch seien sie im Vergleich zu anderen Modellen auf der gleichen Hardware schneller. „Denn wir haben und brauchen nicht so viele große Matrizen“, sagt Borovykh. Ein Liquid Foundation Model, das ein Robotertaxi fahren oder eine Drohne steuern soll, könne daher schon auf einem Smartphone oder sogar einem kleinen Minicomputer wie einem Raspberry Pi laufen.
Die reduzierte Architektur könnte das KI-System in der Theorie auch berechenbarer und erklärbarer machen, da bestimmten Neuronen bestimmten Funktionen zugeordnet werden könnten.
Denn: „Derzeit arbeiten KI-Modelle wie eine Black Box: Eine Eingabeaufforderung geht ein und eine Antwort kommt heraus“, so Borovykh. Was genau in den Modellen passiert, während ein Prompt verarbeitet wird, ist zu weiten Teilen unklar und nicht nachvollziehbar. „Einer unserer Schwerpunkte ist deswegen die Einführung sogenannter Kontrollen“, sagt Borovykh. Dadurch soll es möglich werden, während ein Modell einen Prompt verarbeitet, „tatsächlich die Kontrolle darüber haben, was im System vor sich geht“.
Was wird aus Transformern?
Wie Borovykh erläuterte, arbeiten bei Liquid AI derzeit kleine Teams daran, die Anwendung von Liquid Foundation Models für verschiedene Modalitäten zu entwickeln. Darunter Text, aber auch Bild, Video und andere. „Unser Ziel ist es derzeit, die Leistung [von Liquid Foundation Models] für bestimmte Aufgaben auf das Niveau von Transformern zu bringen“, sagt sie. Denn Transformer seien zum Beispiel bei textbasierten Aufgaben einfach sehr gut – und damit ein Maßstab, an dem man sich messen lassen müsse. Die Hoffnung sei aber natürlich, dass die KI-Architektur des Start-ups am Ende bei möglichst vielen Aufgaben besser, zuverlässiger, schneller und effektiver arbeitet als heutige Modellarchitekturen.
Die Mathematikerin geht dennoch nicht davon aus, dass die Liquid Foundation Models die etablierten Transformer-Modelle so schnell komplett überflüssig machen werden. Denn beide Modellvarianten hätten in bestimmten Sparten ihre jeweiligen Vor- und Nachteile und seien für bestimmte Zwecke prädestiniert. „Transformer funktionieren sehr gut, es ist eine bewährte Architektur“, sagt sie. Zudem seien die Grenzen dessen, was mit bestimmten Architekturen möglich ist, noch nicht ausgereizt. „OpenAI hat gerade o1 veröffentlicht“, merkt die Mathematikerin an. Bei diesem Modell habe das Unternehmen der Architektur eine zwar nicht perfekte, aber zusätzliche Fähigkeit hinzugefügt, die es dem LLM ermögliche, „über mögliche Antworten zu iterieren“. Das sei durchaus imposant.
Wie Anastasia Borovykh ausführt, sei das ein Beispiel dafür, wie schnell und teilweise unerwartet sich Künstliche Intelligenz entwickelt. „Es passiert sehr viel“, sagt sie. Daher könne derzeit niemand mit Sicherheit sagen, wie und wohin sich alles entwickelt und was die Zukunft der Künstlichen Intelligenz wirklich sein wird. Es könnten neue Modellarchitekturen sein – solche, wie sie Liquid AI konzipiert. Es könnten aber auch diejenigen Recht behalten, die davon überzeugt sind, dass heutige Modelle wie die GPT-Reihen nur immer weiter wachsen müssen, um zu einer Allgemeinen Künstlichen Intelligenz zu gelangen. „Ich selbst glaube nicht, dass Transformers das Endspiel der KI sein werden“, sagt Borovykh. „Aber vielleicht ja doch. OpenAI glaubt, dass es uns der AKI näher bringt. Vielleicht ist das die richtige Richtung.“
Wir brauchen eine Debatte
Die Mathematikerin sieht die aktuellen Entwicklungen im Bereich der Künstlichen Intelligenz jedoch durchaus kritisch. Insbesondere den Hype der letzten zwei Jahre, in denen Milliarden in die Technologie investiert wurden und werden, beobachtet sie interessiert und mit einer gewissen Sorge. „Wird sich das viele Geld langfristig auszahlen? Wird es die Gewinne bringen, mit denen die Unternehmen ihre Kosten decken können? Ich bin mir da nicht sicher“, sagt sie. „Wird es vielleicht einen weiteren KI-Winter geben? In Teilen bestimmt.“
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Als KI-Winter wurden Phasen über die letzten Jahrzehnte bezeichnet, in denen Forschung und Entwicklung von Künstlichen Intelligenz wegen mangelnder Förderung nahezu versiegte. Grund dafür war die Enttäuschung über die mangelnden Fähigkeiten und Fortschritte der Technologie. Sowohl Skeptiker als auch einige Unternehmer und Forscher sagen voraus, dass der derzeitige KI-Hype durch Enttäuschungen wiederum zu einem KI-Winter führen könnte. „Er könnte dadurch angeheizt werden, dass es nicht genug Hardware gibt, um die KI am Laufen zu halten, dass uns das Risikokapital ausgeht und dass wir nicht so viele Anwendungsfälle sehen, wie viele hoffen“, sagt Borovykh. „Und dass das Geld, das mit der Technologie verdient wird, nicht die Kosten decken kann, die im Hintergrund anwachsen.“
Doch wie Anastasia Borovykh betont, würde selbst ein KI-Winter nichts an der Tatsache ändern, dass Künstliche Intelligenz nun eben ein Teil unserer Realität sei. Die Technologie sei da und werde in viele Lebensbereiche eindringen, bei der Arbeit und im Alltag unterstützen und Prozesse automatisieren. Sie werde ganz selbstverständlich zu einem Kernelement von Geräten, die wir heute schon nutzen. Sei es über das Internet oder lokal auf der Hardware selbst. „Wenn man Zugang zu einer nützlichen Technologie hat, will man sie immer zur Hand haben“, sagt sie. Künstliche Intelligenz würde dadurch unser Leben, die Gesellschaft, die Kultur und die Arbeit verändern.
Ob und wie sich diese Entwicklung vollziehe, hänge sehr von den Menschen selbst ab, mahnt Borovykh. Künstliche Intelligenz könne zu einer geradezu dystopischen Welt führen, in der KI-Systeme fast das gesamte Leben automatisieren, Entscheidungen und menschliche Kontakte überflüssig machen. Künstliche Intelligenz könne aber auch neue Freiräume schaffen, Kreativität fördern und Menschen zusammenbringen. Deshalb sei eine Debatte über Künstliche Intelligenz und Menschlichkeit notwendig: „Wo wollen wir den menschlichen Kontakt erhalten? Was können wir mit der Automatisierung in Einklang bringen?“, fragt sie. „Ich glaube, dass diese Diskussion noch nicht geführt wurde, weil wir im Moment alles automatisieren, aber ich hoffe, dass wir eines Tages darüber sprechen werden.“
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!