Die Facebook- und Instagram-Firma Meta hat die neueste Version ihres Sprachmodells LLaMA vorgestellt – wieder als Open-Source-Projekt. Im Gegensatz zu früheren Versionen soll die Version 3.1 mit der Konkurrenz mithalten können. Mark Zuckerberg betonte, dass Meta die Zukunft in offenen Modellen und in der Zusammenarbeit mit der Open Source Community sieht.
Von Michael Förtsch
Der Wettbewerb zwischen etablierten Technologieunternehmen und KI-Start-ups um die fortschrittlichsten und leistungsfähigsten KI-Modelle wird immer härter. Es werden Milliarden in das Training von KI-Systemen investiert und neue Quellen für Trainingsdaten erschlossen, die nun auch teuer und teilweise exklusiv lizenziert werden. Dabei liegen vor allem OpenAI und Microsoft, Google und Anthropic ganz vorne. Aber auch die Facebook-Firma Meta will im KI-Rennen eine prägende Kraft sein. Dabei setzt sie auf eine ganz andere Strategie. Ihre KI-Modelle sind frei verfügbar, können privat und kommerziell genutzt und auch verändert werden. Das hat seit der – damals unfreiwilligen – Veröffentlichung des ersten LLaMA-Modells eine blühende Community von KI-Enthusiasten entstehen lassen.
Mit LLaMA 3.1 ist nun die neueste Version der Modellreihe erschienen. Die größte Variante mit 405 Milliarden Datenpunkten – und einer Download-Größe von rund 800 Gigabyte – soll nach ersten Tests durchaus mit aktuellen Spitzenmodellen wie GPT-4o und Gemini Pro mithalten können, wenn es um die Generierung von Computercode, das Lösen mathematischer Aufgaben oder – bei entsprechender Anbindung – um die Suche im Internet geht. Neben Englisch soll LLaMA 3.1 in sieben weiteren Sprachen eine „starke Performance“ zeigen – darunter auch Deutsch. Lediglich Bild-, Video- und Audioinhalte kann das Sprachmodell noch nicht verarbeiten.
Zwei kompaktere Versionen mit 70 beziehungsweise 8 Milliarden Datenpunkten und nur wenigen Gigabyte Dateigröße bieten zwar nicht die gleiche Leistungsfähigkeit, können aber mit Tools wie Ollama auch ohne Internetverbindung auf dem heimischen Computer ausgeführt werden. Darüber hinaus hat Meta weitere spezialisierte Modelle veröffentlicht, die KI-Systeme sicherer machen sollen. LLaMA Guard 3 ist beispielsweise darauf trainiert, potenziell gefährliche Anfragen zu erkennen, und Prompt Guard erkennt mögliche Angriffe auf Sprachmodelle, die Sicherheitsbarrieren umgehen sollen.
Wie Meta profitieren will
In einem Blogeintrag zur Vorstellung der Modelle schreibt Meta-Chef Mark Zuckerberg, er halte die Open-Source-Bewegung für den technologischen Fortschritt für unverzichtbar. Das offene Linux-System sei beispielsweise der Industriestandard für Cloud Computing und der Kern von Android, dem am weitesten verbreiteten Smartphone-Betriebssystem. Er glaube daher, dass sich die Künstliche Intelligenz ähnlich entwickeln werde. Derzeit würden die führenden Modelle von großen Technologieunternehmen entwickelt, die diese nicht freigeben oder transparent machen wollen. Die Open-Source-Community und die mit ihr zusammenarbeitenden Unternehmen holten jedoch schnell auf.
„Ab dem nächsten Jahr erwarten wir, dass die zukünftigen LLaMA-Modelle die fortschrittlichsten in der Branche sein werden“, schreibt Zuckerberg. Meta arbeitet mit zahlreichen Partnern wie Amazon, Databricks und Nvidia zusammen, um Open-Source-Modelle zum Industriestandard zu machen und ein offenes Ökosystem aufzubauen. Ein Ökosystem, das es ermöglicht, eigene spezialisierte Modelle auf Basis der LLaMA-Modelle zu erstellen, die eigenen Daten im eigenen System zu halten und selbst zur Weiterentwicklung der Technologie beizutragen.
Laut Mark Zuckerberg kann es sich Meta leisten, in offene Künstliche Intelligenz zu investieren, hofft aber natürlich auch, langfristig davon zu profitieren. So habe Meta in der Vergangenheit bereits Milliarden von US-Dollar gespart, indem es seine Rechenzentrumsdesigns öffentlich gemacht habe, von denen einige zum Industriestandard geworden seien. Es habe von Open-Source-Tools wie PyTorch und React profitiert. Wenn LLaMA als Familie von KI-Modellen erfolgreich sei, könne Meta als Mitgestalter dieses KI-Ökosystems an neuen Entwicklungen teilhaben, die Innovationen und Einsparungen für seine eigenen Produkte mit sich brächten.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Kritik an Metas KI-Modellen
Das starke Bekenntnis von Mark Zuckerberg zu Open-Source-Modellen wurde von vielen Seiten positiv aufgenommen. So dankte der KI-Forscher und ehemalige Google-Brain-Gründer Andrew Ng Zuckerberg und Meta für ihren „großen Beitrag zu Open Source“. Der Hacker George Hotz rief KI-Forscher dazu auf, mit solchen offenen Modellen zu arbeiten. Doch der Umgang von Meta mit Künstlicher Intelligenz ist nicht ohne Kritik. Denn obwohl das Facebook-Unternehmen einen offenen Pfad für die Technologie verspricht, verhält es sich ähnlich intransparent wie OpenAI und Anthropic, wenn es um die Frage geht, mit welchen Daten die Modelle trainiert wurden. Viele der verwendeten Ressourcen dürften ohne Zustimmung der Autoren genutzt worden sein.
Als Meta im Mai ankündigte, auch Daten von Facebook- und Instagram-Nutzern für zukünftiges KI-Training verwenden zu wollen, wurde dies von Regulierungsbehörden in der EU und Brasilien untersagt. Meta hatte daraufhin angekündigt, künftige KI-Modelle sowie den eigenen KI-Chatdienst Meta AI offiziell nicht in der EU anbieten zu wollen. Unklar ist jedoch, ob und wie Meta die Nutzung der offenen Modelle in der Europäischen Union verhindern will.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!