Wer freie KI-Sprachmodelle wie LLaMA, Mistral oder LLaVA auf dem eigenen Rechner nutzen wollte, musste bisher sowohl Zeit als auch Mühe investieren. Ein neues Projekt des Firefox-Entwicklers Mozilla ändert dies nun.
Von Michael Förtsch
Ein Jahr ist es jetzt her, dass ChatGPT von OpenAI gestartet wurde und ein neues Wettrennen um die Entwicklung von Künstlicher Intelligenz ausgelöst hat. Und Konkurrenten anderer Firmen gibt es mittlerweile so einige: Claude, Bard und Pi beispielsweise. Daneben existieren zahlreiche weitere Projekte, um offene, frei nutz- und weiterentwickelbare Sprachmodelle zu schaffen. Angestoßen wurde diese Bewegung durch die Veröffentlichung des Sprachmodells LLaMA im Februar dieses Jahres, das von der Facebook-Firma Meta trainiert wurde. Daraus sind mittlerweile weitere Modelle wie Vicuna und Alpaca hervorgegangen. Außerdem haben zwischenzeitlich auch die französische Firma Mistral und das Technology Innovation Institute in Abu Dhabi eigene Modelle veröffentlicht, die von einzelnen Entwicklern und Initiativen weiterentwickelt werden.
Auf Plattformen wie Huggingface finden sich heute bereits dutzende Modelle, die mit mal mehr, mal weniger gewissenhaft gewählten Daten weitertrainiert oder auf spezialisierte Einsätze hin modifiziert wurden. Ebenso gibt es Modelle, die entstanden sind, indem mehrere andere Modelle zu einem verschmolzen wurden – und die zuweilen durchaus an die Fähigkeiten von kommerziellen Modellen heranreichen sollen. Diese freien Modelle – die oft in unterschiedlichen Größen, sogenannten Gewichten, zur Verfügung stehen – auf dem heimischen Rechner zu nutzen, war bislang jedoch ziemlich mühsam. Man musste beispielsweise die Programmiersprache Python herunterladen, um dann ein kryptisches Programm über die Konsole zu starten und anschließend das Modell zu laden.
Wenn es nach Mozilla geht, soll das schon jetzt deutlich einfacher werden. Denn die vor allem für den Firefox-Browser bekannte Firma hat nun llamafile veröffentlicht. Das von der Innovation Group von Mozilla entwickelte System erlaubt es Machern von Sprachmodellen, diese direkt als ausführbare Programmdateien zu verpacken, die unter anderem auf Windows, Linux, macOS und BSD-Betriebssystemen nutzbar sind. Dafür hat das Team mehrere bereits bestehende Projekte wie llama.cpp und Cosmopolitan Libc kombiniert.
Herunterladen und ausführen (fast)
Durch llamafile kann etwa das entsprechend angepasste Modell von LLaVA einfach heruntergeladen werden. Wenn auf Windows die Dateiendung von .llamafile in .exe geändert wird, kann es wie ein normales Programm ausgeführt werden. In einem Browser kann dann das Chatinterface durch die im Programmfenster angezeigte IP-Adresse angesteuert werden. Ebenso wurden bereits die Modelle Mistral 7B und Wiardcoder 13B an llamafile angepasst. Diese sind jedoch aufgrund einer Obergrenze für ausführbare Dateien nicht direkt unter Windows, sondern nur auf anderen Betriebssystemen nutzbar. Um Modelle größer als vier Gigabyte unter Windows zu nutzen, genügen jedoch einige kurze Befehle in der Powershell-Kommandozeile, wie auf der Github-Seite des Projektes erklärt wird.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Laut Stephen Hood von Mozilla macht es das Projekt Entwicklern deutlich einfacher, ihre Modelle zugänglich und für eine große Gruppe von Interessierten auch wirklich nutzbar zu machen. Das aktuelle System sei lediglich eine erste Version, auf die nun weiter aufgebaut werden soll. Es steht auch anderen Entwicklern frei, das Projekt aufzugreifen, daran mitzuwirken oder auf ihre eigene Weise weiterzuentwickeln. Zumindest experimentierfreudigen Nutzern wird mit llamafile nun eine Möglichkeit eröffnet, Alternativen zu ChatGPT, Bard und Co. zu erforschen.
Bereits im Mai warnte ein anonymer Google-Entwickler seinen Arbeitgeber in einem Memo, dass die Open-Source-Entwicklerszene den kommerziellen Anbietern von Künstlicher Intelligenz gefährlich werden könnte. Denn die freien Entwickler besäßen durchaus die Fähigkeit und Geschwindigkeit, um OpenAI, Google, Microsoft und andere mit einem kontinuierlichen Strom an Innovationen und Projekten zu überrunden. Der Google-Entwickler empfahl daher, die Zusammenarbeit mit der Open-Source-Szene zu suchen.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!