Ein Team der Universität Stanford hat für weniger als 600 US-Dollar einen Konkurrenten zu OpenAIs GPT-3-Modell erstellt. Dieser basiert auf einem Open-Source-Sprachmodell von Meta. Die Alpaca 7B getaufte KI soll auf normalen PCs lauffähig sein und bald veröffentlicht werden.
Von Michael Förtsch
Erst vergangene Woche hat OpenAI GPT-4 vorgestellt, das Nachfolgemodell zu GPT-3.5, auf dem der erfolgreiche KI-Chatbot ChatGPT basiert. Wie das Unternehmen zwischenzeitlich klargestellt hat, will es nicht länger offen und transparent über seine Entwicklungen kommunizieren. So soll nicht offengelegt werden, wie und mit welchen Daten die KI-Systeme trainiert, wie sie abgesichert oder vor Missbrauch geschützt werden. Das hat für viel Kritik gesorgt und auch Befürchtungen geweckt, dass sich OpenAI mit der finanziellen Unterstützung durch Microsoft zu einem Monopolisten im Bereich der Künstlichen Intelligenz entwickeln könnte. Denn für die Erstellung von großen KI-Sprachmodellen und ihre Bereitstellung sind gigantische Summen notwendig. Wobei, vielleicht auch nicht, wie nun ein Team der Universität Stanford demonstriert. Denn das hat ein eigenes KI-Modell vorgestellt.
Das Sprachmodell der Stanford-Forscher nennt sich Alpaca 7B und umfasst sieben Milliarden Parameter, also Datenpunkte. Zumindest laut den Entwicklern sei das Modell hinsichtlich seiner Fähigkeiten und Geschwindigkeit mit text-davinci-003 vergleichbar, einer der früheren Zwischenversionen von GPT-3 beziehungsweise GPT-3.5. Entwickelt wurde Alpaca jedoch nicht von Grund auf. Stattdessen basiert es auf einem LLaMA getauften Sprachmodell, das die Facebook-Firma Meta in den vergangenen Jahren aufgebaut und für Forschungs- und Bildungseinrichtungen freigeben hat. Wie die Stanford-Forscher in einer Ankündigung ausführen, haben sie das Modell getuned – also mit weiteren Texten und Konversationen trainiert.
Konkret sei das Modell mit 52.000 Beispielen für Frage-Antwort-Konversationen und das Befolgen von Instruktionen gefüttert worden, um die Fähigkeit des Basismodells zu verbessern, auf Fragen und Befehle konkrete Antworten und Ergebnisse zu liefern. Darunter seien etwa Aufforderungen, eine E-Mail zu schreiben, einen Text zusammenzufassen und Ähnliches. Um das Trainingsmaterial zu erzeugen, hat das Team auf die Werkzeuge der Konkurrenz zugegriffen – nämlich GPT-3.5. Lediglich drei Stunden habe das fine tuning auf den Servern eines Cloud-Computing-Anbieters gedauert und weniger als 600 US-Dollar gekostet.
Läuft auf günstigen Geräten
Alpaca 7B könne für zahlreiche Anwendungen genutzt werden, für die derzeit GPT-3 und GPT-3.5 eingesetzt werden. Es zeige sogar „viele ähnliche Verhaltensweisen wie OpenAIs text-davinci-003“. Jedoch hat Alpaca 7B einen großen Vorteil, wie die Entwickler sagen. Im Gegensatz zu den GPT-3-Modellen ist die KI der Stanford-Forscher deutlich weniger hungrig, was Rechenkraft betrifft. Das lediglich 3,9 Gigabyte große Alpaca 7B könne in zufriedenstellender Geschwindigkeit auf günstiger Hardware laufen, schreiben die Entwickler. Gemeint sind damit klassische Laptops, PCs und wohl auch Smartphones. Dass das realistisch ist, hat sich in den vergangenen Wochen bereits gezeigt. Denn das LLaMA-Modell von Meta wurde geleaked. Einige Entwickler haben daraufhin demonstriert, dass es mit entsprechenden Tools auf PCs, auf einem Smartphone und sogar einem Raspberry Pi 4 betrieben werden kann.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Wie die Stanford-Forscher angekündigt haben, soll Alpaca 7B in „in der nahen Zukunft“ auf Github veröffentlicht werden. Jedoch soll es allein für „die akademische Forschung“ freigegeben werden. Eine kommerzielle Nutzung soll nicht erlaubt sein. „Wir glauben, dass die Freigabe die akademische Gemeinschaft in die Lage versetzen wird, kontrollierte wissenschaftliche Studien über instruktionsgeleitete Sprachmodelle durchzuführen“, so das Team. Die Forscher warnen zudem, dass Alpaca 7B über keinerlei Beschränkungen und Sicherheitsbarrieren verfüge, die einen Missbrauch verhindern könnten.
Ebenso habe das Stanford-Modell die gleichen Probleme wie andere Sprachmodelle. Es halluziniere, erfinde beispielsweise Daten und Fakten, gebe teils sehr rüde und beleidigende Antworten und lüge den Nutzer selbstsicher an.
Wer Alpaca testen will, der kann das in einer ChatGPT-artigen Web-Anwedungen tun, die derzeit jedoch vollkommen überlastet ist und von den Entwicklern notdürftig mit einem Inhaltefilter gegen Missbrauch gesichert wurde.
Update: Das Entwicklerteam hat die Web-Demo von Alpaca offline genommen, die zuletzt aufgrund vieler Anfragen kaum nutzbar war. „In Anbetracht der Hosting-Kosten und der Unzulänglichkeiten unserer Inhaltsfilter haben wir beschlossen, die Demo einzustellen“, erklärte das Team gegenüber The Register. Der Quellcode ist jedoch weiter auf GitHub verfügbar. Auch das Modell soll weiterhin wie angekündigt erscheinen.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!
