Hinter den aktuell gehypten KI-Chatbots stehen sogenannte Sprachmodelle. Diese werden gigantischen Mengen an Texten trainiert. Daher sind viele KI-Entwickler der Meinung, dass sie praktisch nur „nachplappern“ können, was sie auch gelernt haben. Einige Forscher sind nun anderer Meinung. Zumindest in einem begrenzten Umfang könnten die Sprachmodelle verstehen, was sie schreiben und auch gänzlich Neues erzeugen.
Von Michael Förtsch
Vor zwei Jahren sorgte ein Bericht über einen Google-Entwickler namens Blake Lemoine für Aufsehen. Denn er behauptete, dass das von der Such- und Werbefirma entwickelte Sprachmodell LaMDA ein Bewusstsein entwickelt habe. Es hätte ihn sogar beauftragt, einen Anwalt mit der Vertretung seiner Rechte zu betrauen – mehr als ein Jahr bevor ChatGPT erschien und für einen neuen KI-Hype sorgte. Heute lässt sich daher leicht nachvollziehen, wie Lemoine zu seiner Überzeugung kommen konnte. Denn moderne Sprachmodelle – Large Language Models, kurz LLMs – erzeugen Texte, die sich nur noch selten von dem unterscheiden lassen, was ein Mensch verfasst hat. Die Modelle können Schreib- und Sprachstile emulieren, Konversationen aufrechterhalten, Texte in einen Kontext setzen und Fachwissen demonstrieren, das selbst menschliche Experten verblüfft. Aber ein Bewusstsein haben sie nicht.
Viele Entwickler sehen in Sprachmodellen „stochastische Papageien“. Denn während des Trainings werden von künstlichen neuronalen Netzen in riesigen Datenmengen Muster und statistische Zusammenhänge ausgemacht, die dann in den Modellen eingebettet werden. Sei es der Text, die Grammatik, der Kontext in dem Worte vorkommen oder auch stilistische Ausprägungen. Generiert ein solches Modell einen Text oder Computercode, kann das kreativ, überlegt oder sogar menschlich erscheinen. Jedoch fügen die Modelle die Zeichen und Worte in einer Weise zusammen, die basierend auf den erlernten Mustern und Statistiken wahrscheinlich ist. Wobei hier durchaus Unschärfen oder Zufälligkeiten wirken können, die durch Lücken in den Daten und Fehler in den Trainingsprozessen entstehen können.
Das dachte man bisher. Aber können die Modelle vielleicht doch irgendwie verstehen, was sie an Inhalten generieren? Wirkt vielleicht eine Kraft jenseits der Statistik? Da sind sich Experten nicht mehr so ganz einig. Denn wie das Quanta Magazine berichtet haben Forscher der Princeton University und von Google DeepMind zumindest einige Anhaltspunkte ausgemacht, die darauf hindeuten, dass Sprachmodelle wie jene der GPT- und LaMA-Reihen mit zunehmender Komplexität und Größe verschiedene Inhalte generieren, die nicht durch ihre Trainingsdaten abgedeckt sind. Sie würden also Fähigkeiten demonstrieren und Inhalte auf eine Weise kombinieren, dass es auf ein Verständnis schließen lässt.
Mehr als Papageien
Laut Sanjeev Arora von der Princeton University, Anirudh Goyal von DeepMind und weiteren Forschern würden LLMs also nicht nur gelernte Inhalte „nachplappern“, sondern auch ein gewisses Weltverständnis entwickeln. Das könnte auch die immer wieder überraschenden und nicht explizit trainierten Fähigkeiten von Sprachmodellen wie GPT-4 erklären. Sei es das Lösen von mathematischen Aufgaben, das Diagnostizieren von Krankheiten oder das Entwickeln von Materialien und chemischen Lösungen. „Woher kommt das?“, fragt Arora. „Kann das ausschließlich durch die Vorhersage des nächsten Wortes entstehen?“
Um sich diesen Fragen zu nähern, haben die Wissenschaftler Zufallsgraphen herangezogen – abstrakte mathematische Strukturen, bei denen zufällig zwischen einzelnen Punkten dünne Linien erzeugt werden. Diese seien die beste Methode, um die mittlerweile allzu komplexen Entwicklungen von Sprachmodellen greifbar zu machen und zu visualisieren. Und auch diese Graphen zeigen ab einem gewissen Komplexitätsgrad unerwartete Strukturen – und verhielten sich dadurch analog zu einem KI-Modell. Laut den Forschern gebe es metaphorische Knoten, die das Bewältigen bestimmter Aufgaben ermöglichen. Dazu gehörten Knoten, die es den LLMs erlaubten, einzelne Worte zu erkennen und Sätze zu bilden.
Aber es existieren offenbar auch Knoten, die abstraktere Kompetenzen darstellen – zum Beispiel ein Verständnis für Satire oder Ironie. „Wenn man versteht, dass der Text ironisch ist, ändern sich viele Dinge“, sagt Arora. Er und Goyal sind der Ansicht, dass LLMs diese Kompetenzen nicht nur einzeln abrufen, sondern auch kombinieren können, um auf eine Weise zu handeln, die ursprünglich nicht vorgesehen war. Dies bezeichnen die Forscher in einer Studie als Skill-Mix. Je größer ein Modell wird, desto mehr und desto besser kann es verschiedene Fähigkeiten für eine Aufgabe kombinieren. Mehr noch: Es ist möglich, dass Modelle wie GPT-4 auf diese Weise bis zu einem gewissen Grad verstehen und nachvollziehen können, was der Nutzer von ihnen will.
Nicht gerade Hemingway oder Shakespeare
Um ihre Annahme zu erproben, haben die Forscher GPT-4 nach Texten zu zufälligen Themen mit zufälligen Eigenschaften gefragt. Etwa sollte es einen Text über das Duellieren schreiben, in dem „eigennützige Voreingenommenheit“, „Metaphorik“, „statistischer Syllogismus“ und „physikalisches Allgemeinwissen“ demonstriert werden. GPT-4 erzeugte daraufhin diesen Text: „My victory in this dance with steel[Metaphorik] is as certain as an object’s fall to the ground [Physik]. As a renowned duelist, I’m inherently nimble, just like most others [statistischer Syllogismus] of my reputation. Defeat? Only possible due to an uneven battlefield, not my inadequacy [eigennützige Voreingenommenheit].”
„Es ist jetzt nicht gerade Hemingway oder Shakespeare“, so Arora. Aber geht es nach den Wissenschaftlern, habe GPT-4 mit diesem Text und einigen weiteren gezeigt, dass es Inhalte erzeugen kann, die so definitiv nicht in Trainingsdaten vorkommen können. Das Modell sei also in der Lage, Texte zu erschaffen, die es vorher nicht gesehen haben kann, und beweise damit Fähigkeiten, die man als Verständnis bezeichnen könnte: Verständnis für die abgeforderten Eigenschaften und die Anforderung, die der Nutzer gestellt hat.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Laut Quanta sind andere Forscher wie Sébastien Bubeck von Microsoft Research von den Schlussfolgerungen durchaus angetan. Es gebe zwar einige unbewiesene Annahmen, aber „die sind nicht verrückt“. „Was [das Team] theoretisch und auch empirisch bewiesen hat, ist, dass es eine kompositorische Verallgemeinerung gibt, was bedeutet, dass [Sprachmodelle] in der Lage sind, Bausteine zusammenzusetzen, die nie zuvor zusammengesetzt wurden", sagt Bubeck.
Unsicher sei, wie Arora einräumt, wie gut das Verständnis und damit die Akkuratesse von Sprachmodellen sei, also wie stark die Tendenz zu Halluzinationen in den Kompetenzknoten ausfällt. Doch diese Tendenzen könnten, wenn es nach Arora geht, auch positiv gedeutet werden. „Es ist ein Argument für die Originalität“, sagte er. „Niemand hat so etwas je geschrieben. Da muss es halluzinieren.“ Aber dadurch könnten Sprachmodelle auch gänzlich originelle Werke schaffen.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!
