Wer mit einem Chatbot ein Gespräch führt, der bekommt recht schnell sinnlose Antworten, die kaum etwas mit der gestellten Frage zu tun haben. Auch wissen Chatbots oft nicht, was sie nur wenige Zeilen zuvor von sich gegeben haben. Google hat einen Chatbot entwickelt, der anders ist. Der trägt den Namen Meena und soll fast genauso überzeugend ein Gespräch führen können wie ein Mensch.
Von Michael Förtsch
Der große Hype um Chatbots hat sich inzwischen gelegt. Doch sie bleiben ein wichtiges Thema. Denn, wenn sie gut funktionieren, simulieren sie einen persönlichen Kontakt, vermitteln das Gefühl, dass sich jemand kümmert, und können bei besonderen Problemen recht schnell spezifische Antworten liefern. Daher setzen viele Unternehmen vor allem beim Kunden-Support auf die Text-KIs. Aber wer schon einmal mit einem Chatbot eine längere Konversation geführt hat, der weiß, dass sie dennoch nicht immer die eloquentesten und fachkundigsten Gesprächspartner sind. Auch unser eigener Chatbot @Job kommt schnell ins straucheln, wenn er mit Fragen zu Themen konfrontiert wird, auf die er einfach nicht mit entsprechenden Daten oder Antworten vorbereitet wurde. Wie andere Chatbots fällt er dann auf Standardsätze zurück oder gibt Dinge von sich, die nichts mit der gestellten Frage zu haben. So richtig nach Künstlicher Intelligenz fühlt sich das nicht an.
Geht es nach dem Brain Team von Googles Forschungsabteilung Research könnten Chatbots aber bald deutlich souveräner und vor allem menschlicher mit derartigen Einschränkungen umgehen – und Gespräche führen, die den menschlichen Chatpartner überzeugen können, dass am anderen Ende eine Person sitzt. Um das zu demonstrieren, entwickelten die Google-Forscher Meena. Anders als viele Chatbots, die derzeit eingesetzt werden, reagiert Meena nicht allein auf Schlagwörter oder konkrete Anweisungen des chattenden Menschen. Denn Meena ist ein sogenannter Open Domain Chatbot, der sich auf das Thema seines Gesprächspartners einstellen soll. Er ist nicht der erste Vertreter dieser Art. Bereits vor Jahren wurden mit Cleverbot oder XiaoIce Chatbots entwickelt, deren Antworten sich auf komplexe Regelsysteme und Dialogmanager stützen, die versuchen, über das Gespräch hinweg aus ausgetauschten Sätzen ein Gesprächswissen zu akkumulieren und ein Verständnis aufzubauen.
Die bisherigen Open-Domain-Chatbots können damit versuchen, Themen aufzugreifen, die sie nicht kennen und auf zuvor getätigte Aussagen zurückzukommen. Jedoch antworten sie dadurch bisher auch schnell mit Sätzen, die für den menschlichen Gesprächsteilnehmer keinen Sinn mehr ergeben, da sie falsche Rückschlüsse und Verbindungen ziehen. Dieses Problem der sogenannten Perplexität wollten die Google-Entwickler bei Meena lösen. Und zwar mit einer Optimierung des Chatbot auf Zwiegespräche. Dafür wurde die hinter Meena stehende Künstliche Intelligenz mit 341 Gigabyte Daten an frei verfügbaren Texten von Websites und auch mit den Protokollen von realen Gesprächen gefüttert, die in und auf Sozialen Netzwerken geführt und für die Forschung freigegeben wurden.
Was ist deine Lieblingsserie?
Den Google-Entwicklern zufolge kann sich Meena geradezu menschen-gleich auf Dialoge und Themen einlassen. Der Chatbot könne vergleichsweise sicher Kontexte erkennen, spezifische Antworten geben und diese im Gedächtnis behalten , Themen weiterspinnen und sogar mit Humor reagieren. Wird beispielsweise über Fernsehserien gechattet, kann Meena antworten, dass ihre Lieblingsserien Supernatural und Star Trek: TNG sind. Fragt der Nutzer, wie die Entwickler in einem Beispiel anführen, was das TNG bedeutet, kann Meena sicher antworten, dass das für The Next Generation, den Untertitel der Star-Trek -Serie, steht. Geht es um Musik, kann Meena ein Lieblingslied wählen und Auszüge daraus zitieren – und das sogar abwechselnd mit dem menschlichen Chatpartner. Bei anderen populären Themen soll Meena genauso sicher texten können. Weitere Dialoge und Details zur Entstehung von Meena haben die Google-Entwickler in einer Entwicklungsstudie festgehalten.
Fast so gut wie ein Mensch?
Um zu bewerten, wie gut Meena aber nun im Vergleich mit anderen Chatbots ist, hat Google einen eigenen Leistungsindex entwickelt, der Sensibleness and Specificity Average getauft wurde. Der soll „einfache aber wichtige Eigenschaften für ein natürliches Gespräch“ erfassen und zur Bewertung heranziehen. Gemeint ist damit, wie gut der Chatbot ein Gespräch aufrechterhalten und Antworten geben kann, die etwas dazu beitragen. Mehrere Probanden führten dafür mit Meena und anderen hochentwickelten und öffentlich zugänglichen Chatbots jeweils rund 100 Gespräche. Für jede Antwort, die ein Bot gab, musste der Mensch eine Einschätzung darüber abgeben, ob sie im Kontext des Gespräches Sinn ergibt und, wenn ja, wie spezifisch die Antwort ist.
Laut den Google-Forschern erreiche ein „durchschnittlicher Mensch“ auf der Sensibleness-and-Specificity-Average-Skala bei einem Chat einen Mittelwerk von 86 Prozent. Bisherige Open-Domain-Chatbots lagen zum Teil weit darunter. So erreichte der Chatbot Mitsuku 56 Prozent, Cleverbot ebenso 56 Prozent, Dialo GPT 48 Prozent und XiaoIce lediglich 31 Prozent. Meena hingegen soll auf beeindruckende 79 Prozent gekommen sein – und damit schon nahe an das Konversationspotential eines Menschen heranreichen. Wobei diese Werte aber natürlich nichts über das sehr subjektive Empfinden der Gesprächsqualität aussagen – oder den Mehrwert eines Gespräches.
Daher wollen die Google-Forscher für ihre künftige Arbeit weitere „Attribute“ in Angriff nehmen, die für ein gutes Gespräch sehr wichtig sind. Unter anderem die Persönlichkeit des digitalen Gegenübers. Aber auch durch die Trainingsdaten einfließende Denkmuster und möglicherweise auch Vorurteile, die ein Chatbot dadurch zeigen könnte, sollen bei der Fortentwicklung untersucht werden. Denn letzteres könnte fatale Folgen haben, wie 2016 der von Microsoft entwickelte Chatbot Tay zeigte. Der wurde auf Twitter integriert und sollte im Gespräch mit Twitter-Nutzern dazulernen . Binnen kürzester Zeit gab Tay rassistische Äußerungen von sich. Ob Meena daher für die Öffentlichkeit im Internet freigegeben wird, soll über die kommenden Monate noch abgewogen und entschieden werden.
Aufmacherbild: Getty Images/ COMiCZ