Das vom Facebook-Konzern Meta entwickelte KI-Sprachmodell LLaMA sollte eigentlich nur von Forschern genutzt werden. Doch dann wurde es geleakt und zum Liebling der Open-Source-Community. Nun hat Meta eine neue Fassung von LLaMA veröffentlicht – und die ist von Beginn an als Open-Source-Software gedacht.
Von Michael Förtsch
Nach dem Erfolg von ChatGPT und der Ankündigung von Bard durch Google wollte auch der Facebook-Konzern Meta beim Wettrennen um Künstliche Intelligenz mitmischen. Doch auf seine eigene Art und Weise. Und so veröffentlichte die Firma im Februar 2023 mit LLaMA ein Sprachmodell, das kleiner, aber ähnlich leistungsfähig ist wie GPT-3 von OpenAI. Jedoch war LLaMA nicht für die breite Öffentlichkeit gedacht. Es gab kein Chatprogramm wie ChatGPT oder eine einfache Download-Möglichkeit. Stattdessen sollte LLaMA vor allem Forschern und KI-Entwicklern helfen. Sie konnten einen Zugang zu den mehrere Gigabyte großen Modellvarianten beantragen. Aber bereits nach einer Woche wurden die Dateien geleakt. Sie wurden im Bittorrent-Netzwerk, in Discord- und Telegramkanälen sowie in Foren mittels Links zu Cloud-Speicher-Konten geteilt. Das sorgte für eine ungeahnte Dynamik.
Zahlreiche Entwickler und die Open-Source- und Hacker-Community nahmen sich LLaMA an und experimentierten damit. Die LLaMA-Modelle wurden von manchen mit eigenen Daten getunt, sie wurden auf scheinbar untaugliche Systeme wie einen Raspberry-Pi-4-Minicomputer oder auch auf Smartphones portiert. Das wiederum befeuerte Forschungs- und Entwicklungsprojekte, die etwa auf LLaMA basierende Modelle wie Vicuna und Koala hervorbrachten oder versuchten, eine Open-Source-Fassung des Modells zu entwickeln. Der LLaMA-Boom überraschte nicht nur Meta. Er schreckte auch anderer Entwickler auf. Im Mai warnte ein Google-Entwickler, dass die Open-Source-Entwicklerszene durchaus die Fähigkeit und Geschwindigkeit besäße, um OpenAI, Google, Microsoft und andere zu überrunden – und es daher besser sei, mit ihr zusammenzuarbeiten.
Bei Google stieß die Warnung bislang allerdings auf taube Ohren. Aber bei Meta scheint das Gegenteil der Fall. Denn der Konzern hat nun LLaMA 2 veröffentlicht, das Nachfolgemodell. Und das ist, wie es in der Ankündigung heißt, mit einer „sehr freigiebigen Gemeinschaftslizenz“ ausgestattet. Das Modell kann frei genutzt, verändert und in eigene Systeme integriert werden – auch für kommerzielle Zwecke. Die in drei verschiedenen Trainings- beziehungsweise Parameterstufen verfügbaren LLaMA-2-Modelle können bei Meta selbst angefordert oder über die KI-Entwicklerplattform Huggingface einfach heruntergeladen werden. Dort kann auch eine auf Gespräche à la ChatGPT getunte Fassung direkt ausprobiert werden.
Open Source für Innovation
„Open Source treibt Innovation voran, weil es mehr Entwicklern die Möglichkeit gibt, mit neuen Technologien zu arbeiten“, schreibt Mark Zuckerberg auf Facebook zur Veröffentlichungsstrategie von LLaMA 2. „Es verbessert auch die Sicherheit, denn wenn Software offen ist, können mehr Menschen sie prüfen, um mögliche Probleme zu erkennen und zu beheben. Ich bin davon überzeugt, dass ein offenes Ökosystem mehr Fortschritt ermöglichen würde. Deshalb haben wir LLaMA 2 als Open Source veröffentlicht.“
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Das neue Modell soll mit rund 40 Prozent mehr Daten trainiert worden sein als der Vorgänger. Es soll dadurch deutlich mehr wissen und können. Ebenso soll seine Konversationsfähigkeit ausgeprägter sein. Dennoch zeigt es bei einem kurzen Vergleich mit GPT-3 und GPT-4 einige Schwächen. Unter anderem ist die Kommunikation in anderen Sprachen als Englisch zuweilen sehr holprig. Außerdem fehlt es LLaMA 2 an wissenschaftlichem und popkulturellem Wissen, das OpenAI bei seinen Modellen offenbar durch das Training mit urheberrechtlich geschützten Büchern erreichte.
Dazu kommt, dass LLaMA 2, wie andere Modelle auch, bei direkten Fragen zu nichtexistierenden Personen oder fiktiven Ereignissen gerne Fakten erfindet oder historische Daten durcheinanderbringt. Diese Art von Antworten werden bei ChatGPT, Claude von Anthropic oder auch Bard durch einen Filter reduziert, der die Ausgaben moderiert und beispielsweise auch problematische Anfragen blockiert. Diese und andere Probleme hat das Entwicklerteam in einer Studie zum LLaMA-2-Modell zusammengefasst.
Bei Projekten rund um LLaMA und LLaMA 2 bietet Meta Universitäten und anderen Bildungseinrichtungen eine Partnerschaft an. Dabei sollen Erfahrungen und Informationen ausgetauscht werden. Ebenso plant Meta die sogenannte Llama Impact Challenge bei der gewinnbringende Einsatzmöglichkeiten für das Sprachmodell gefunden werden sollen.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!