In den letzten Monaten hat sich eine passionierte und stetig wachsende Open-Source-Gemeinschaft rund um KI-Modelle gebildet. Einige ihrer Werke können fast schon mit den Produkten von OpenAI und Google mithalten. Ein Google-Entwickler ist daher besorgt. Er glaubt, OpenAI, Google und andere Unternehmen könnten gegen die Open-Source-Community verlieren.
Von Michael Förtsch
Mittlerweile bekommt der ChatGPT-Entwickler OpenAI immer mehr Konkurrenz. Zunächst durch Google mit Bard. Nun durch das bis vor Kurzem kaum bekannte Start-up Inflection, das den „freundlichen und unterstützenden KI-Begleiter“ Pi für einen offenen Testlauf gestartet hat. Vor allem aber waren es zuletzt zahlreiche offene Projekte, die in das Wettrennen um intelligente Chatbots und Sprachmodelle eingestiegen sind. Universitäre Gruppen, kleine Initiativen und vollkommen unabhängige Teams haben KI-Modelle gestartet, die durchaus beeindruckendes leisten können, selbst wenn sie nicht ganz an den Funktionsumfang und die Fähigkeiten von GPT-4 beziehungsweise ChatGPT heranreichen. Darunter Open Assistant, Alpaca, GPT4All, Vicuna, Baize, Dolly 2.0 und so einige mehr. Viele davon bauen auf LLaMA auf, einem eigentlich nur für die Forschung bereitgestellten Modell von Meta.
Laut einem Beitrag des Newsletters SemiAnalysis scheint das bei Google mittlerweile auf Beachtung zu stoßen. Die Autoren haben das Dokument eines Google-Forschers veröffentlicht und auf Echtheit verifiziert, das in den vergangenen Tagen auf Discord geleakt wurde. In diesem warnt der Entwickler davor, sich zu stark auf die kommerzielle Konkurrenz zu konzentrieren. „Wir haben viel über unsere Schultern zu OpenAI geschaut. Wer wird den nächsten Meilenstein überschreiten? Was wird der nächste Schritt sein?“, so der Google-Entwickler. „Die unbequeme Wahrheit ist, dass wir nicht in der Lage sind, dieses Wettrennen zu gewinnen – und OpenAI auch nicht. Während wir uns streiten, hat eine dritte Fraktion im Stillen unser Mittagessen weggefuttert“.
Freie Initiativen und Open-Source-Entwickler würden OpenAI und Google überrunden, lautet seine Prognose. Im Dokument werden mehrere Beispiele für Durchbrüche und Konzepte aufgeführt, die in den letzten Monaten entstanden sind – allesamt ohne das Zutun der großen Technologieunternehmen. Darunter unter anderem Projekte, die große Sprachmodelle auf Android-Smartphones wie dem Pixel 6 zum Laufen gebracht haben. Oder auch die Möglichkeiten, Sprachmodelle mit eigenen Inhalten nachzutrainieren und mit multimodalen Funktionen zu erweitern, beispielsweise mit der Fähigkeit, Bilder zu verarbeiten. „Die Einstiegshürde für das Training und größere Experimente ist von der Rechenleistung einer großen Forschungseinrichtung auf eine Person, einen Abend und einen leistungsstarken Laptop geschrumpft“, so das Dokument.
Keine Geheimzutaten
Wie es in dem Text des anonymen Google-Entwicklers heißt, hätten Google und andere Firmen „zwar immer noch einen leichten Qualitätsvorsprung“, aber der Abstand zu offenen Projekten schrumpfe rasant. Denn Open-Source-Modelle seien anpassbarer, würden schneller entwickelt und veröffentlicht, würden bei der Nutzung mehr Privatsphäre und Freiheit bieten. Das könne bei der Entwicklungsgeschwindigkeit sehr schnell von einer Herausforderung zu einem Problem werden. Denn ob nun Google oder OpenAI: Es gebe keine „Geheimzutat“, die die Sprachmodelle der Milliardenunternehmen besonders oder überlegen machen. Und warum sollten Nutzer für KI-Produkte zahlen, wenn sie eine ebenso gute Alternative umsonst bekommen können.
Diese Entwicklung sei nicht völlig neu und eigentlich auch nicht unerwartet. Sie sei schon beim Text-zu-Bild-Generator Stable Diffusion zu beobachten gewesen. Auch wenn Midjourney den Standard bei der Qualität setze, habe sich eine riesige Gemeinschaft um das offene Text-zu-Bild-Modell gebildet, die zahlreiche spezialisierte Modelle entwickelt und mit anderen teilt. „Diese Modelle werden von Menschen verwendet und erstellt, die tief in ihr jeweiliges Subgenre eingetaucht sind und so eine Tiefe an Wissen und Einfühlungsvermögen mitbringen, die wir nicht erreichen können.“
Außerdem würden rund um Stable Diffusion neue Werkzeuge und Konzepte gebaut, die gänzlich neue Nutzungsansätze erlauben. Darunter auch eine Technik, die sich LoRa nennt. Dabei handelt es sich um kleine Modelle, die wie Erweiterungen zum Hauptmodell funktionieren – und dieses etwa um Malstile, das Aussehen von Personen und Gegenständen erweitern können, die im Hauptmodell nicht vorhanden sind. Laut dem Google-Entwickler sei das eine Technik, die Google erforschen sollte. Sie könne es ermöglichen, auch Sprachmodelle in kurzer Zeit um neue Fähigkeiten oder auch zusätzliche Sprachen zu erweitern – und das für nur 100 US-Dollar an Cloud-Computing-Kosten. „Wir sollten darüber nachdenken, ob jede neue Anwendung oder Idee wirklich ein völlig neues Modell erfordert“, so die Überlegung des Entwicklers.
Die Open-Source-Community zeige darüber hinaus, dass Qualität statt Quantität zählt. Viele der beeindruckenden freien Modelle seien mit „kleinen, aber höchst kuratierten Datasets“ trainiert worden – wie etwa das Sprachmodell Koala der Berkeley Universität. Im Gegensatz zu den großen Sprachmodelle, die mit gigantischen Massen an Daten trainiert und nachgeschult werden.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Mit Offenheit zum Erfolg?
Dem Google-Entwickler zufolge hat „Open Source einige bedeutende Vorteile“, die Google und andere Tech-Giganten nicht haben. Daher brauche das Suchmaschinen- und Werbeunternehmen die Open-Source-Community wohl mehr, als diese Google braucht. Das Unternehmen müsse sich und seine Arbeit mehr als bislang öffnen. „Wir können versuchen, an unseren Geheimnissen festzuhalten, während Innovationen von außen ihren Wert verwässern, oder wir können versuchen, voneinander zu lernen“, heißt es in dem geleakten Dokument.
„Je härter wir unsere Modelle kontrollieren, desto attraktiver werden offene Alternativen“, schreibt der Google-Entwickler. Stattdessen müsse sich Google direkt in die Open-Source-Community einbringen, die rund um Künstliche Intelligenz entstanden ist. Das Unternehmen könne, wenn es nur wolle, eine führende Rolle in der Entwicklergemeinschaft einnehmen. „Das bedeutet wahrscheinlich, einige unbequeme Schritte zu unternehmen“, so der Entwickler. Beispielsweise müsse Google die Kontrolle über einige seiner mit Millioneninvestitionen geschaffenen Modelle aufgeben. Aber im Gegenzug könnte es an der Kreativität und Passion der vielen Entwickler teilhaben – und letztlich davon profitieren. „Wir können nicht darauf beharren, die Innovation voranzutreiben und sie gleichzeitig zu kontrollieren.“
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!