Ein US-Non-Profit-Unternehmen, das Menschen mit Essstörungen unterstützt, hat seine Telefonhotline abgeschaltet. Statt Menschen sollte daher ein KI-Chatbot die Beratung übernehmen. Der gab nach dem Start jedoch viele Ratschläge, die Schaden anrichten können.
Von Michael Förtsch
Essstörungen sind ein gesellschaftliches Problem. Und zwar eines, das in den vergangenen Jahren stark zugenommen hat – auch durch den Einfluss von Social Media und problematischen Schönheitsidealen. In den USA war die Non-Profit-Organisation National Eating Disorders Association – kurz NEDA – rund 20 Jahre lang einer der wichtigsten Anlaufpunkte für Betroffene und deren Familien und Freude. Wer Hilfe suchte, konnte über eine Hotline mit einem von vier ausgebildeten Experten oder einen von 200 freiwilligen Helfern sprechen; sich Rat und Beistand holen oder informieren, wo aktiv geholfen werden kann. Für nicht wenige der Helfer war der Telefondienst eine sehr herausfordernde und belastende Tätigkeit. Zumal sich trotz immer mehr Anrufern die Größe des Kernteams in den letzten Jahren kaum verändert hat. Die Mitarbeiter wollten daher etwas ändern.
Wie unter anderem VICE berichtet, organisierten sich die Telefonhelfer daher und gründeten einen Betriebsrat. Doch als eine Gewerkschaft namens Helpline Associates United ausgerufen wurde, wurden die Mitarbeiter plötzlich gekündigt. Die National Eating Disorders Association entschied, die Mitarbeiter komplett durch einen Chatbot zu ersetzen – laut NEDA-Chefin Elizabeth Thompson habe das „geschäftliche Gründe“. „NEDA behauptet, dass das eine lang erwartete Änderung war und dass KI den Menschen mit Essstörungen besser weiterhelfen kann“, sagte dagegen Abbie Harper, eine der ehemaligen Hotline-Mitarbeiterinnen. Der Chatbot namens Tessa stammt von X2AI, wird als Wellness-Berater beworben und soll in vielerlei Situationen eine positive Unterstützung bieten.
In einer mittlerweile gelöschten Ankündigung heißt es von NEDA, dass der Chatbot in einer Studie zu Beginn des Jahres erprobt wurde und dass „die Frauen, die Zugang zu Tessa hatten, ihre Sorgen über ihr Gewicht und ihre Figur stärker verringerten“. NEDA habe sogar „Hinweise darauf gefunden, dass der Chatbot das Risiko des Ausbruchs einer Essstörung verringern könnte“. Statt den vor einer Woche in den Regelbetrieb genommenen Chatbot als einen alternativen Kanal anzubieten, hätte der Chatbot am heutigen 1. Juni zur einzigen Beratungsoption bei der Non-Profit-Organisation werden sollen. Doch der Chatbot lieferte den Betroffenen nicht gerade die Hilfe, die sie benötigten, sondern gab offenkundig schlechte und sogar schädliche Ratschläge.
Vorerst abgeschaltet
Wie mehrere Nutzer auf Instagram, Twitter und anderen Kanälen dokumentierten, riet der Chatbot Tessa den Hilfesuchenden unter anderem zum Zählen von Kalorien, zu wöchentlichem Wiegen und zu Werkzeugen, um dem Body-Mass-Index oder Körperfettanteil zu messen. Wie die Gesundheitsberaterin Sharon Maxwell festhielt, wären all das Tipps, die Betroffene eher noch stärker in eine Essstörung treiben würden. „Alles, was Tessa vorschlug, hat zur Entwicklung meiner Essstörung geführt“, schreibt sie auf Instagram. „Hätte ich diesen Chatbot genutzt, als ich mich in den Fängen meiner Essstörung befand, wäre das keine Hilfe für mich gewesen.“
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
NEDA bezeichnete die Äußerungen von Maxwell in einem Kommentar zunächst als eine „glatte Lüge“. Nachdem Maxwell und andere Nutzer Screenshots ihrer Konversationen teilten, löschte NEDA den Kommentar. Am Mittwoch kündigte NEDA an, dass der Chatbot „bis auf weiteres“ abgeschaltet wird. Es sei bekannt geworden, dass Tessa den Nutzern „schadhafte“ Hinweise gebe. Es werde daher eine Untersuchung eingeleitet, um das Verhalten des Chatbots zu eruieren.
Laut The Register habe die NEDA-Leiterin Elizabeth Thompson aber bereits den Beschluss gefasst, den KI-Dienst später wieder in Betrieb zu nehmen. „Wir werden weiter an den Fehlern arbeiten und erst dann einen Relaunch durchführen, wenn wir alles ausgemerzt haben“, so Thompson. „Bei der Markteinführung werden wir auch hervorheben, was Tessa ist, was Tessa nicht ist und wie wir das Nutzererlebnis maximieren können.“ Eine Rückkehr der Hotline ist bei NEDA nicht geplant.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!