KI als Profiler wider Willen: Sprachmodelle können private Informationen aus banalen Texten extrahieren


Können ChatGPT und Co. uns ausspionieren? Durchaus. IT- und Sicherheitsforscher aus der Schweiz haben herausgefunden, dass heutige Sprachmodelle anhand von Texten sehr viel über Menschen herausfinden können, die glauben, sich anonym im Internet zu bewegen. Diese Fähigkeit der KI-Technologie könnte leicht missbraucht werden. Dagegen wehren können wir uns derzeit nur bedingt.

Von Michael Förtsch

Immer mehr Menschen nutzen ChatGPT, Bard und andere KI-Chatbots. Viele Schulen haben die Programme mittlerweile in ihren Unterricht integriert. Zahlreiche Firmen verwenden sie, um Kundenanfragen auf ihren Websites zu beantworten. Außerdem experimentieren zahlreiche Start-ups, freie Initiativen und einzelne Entwickler mit offenen Sprachmodellen wie LLaMA oder Mistral. Die Modelle entwickeln sich schnell und werden immer fähiger. Daher warnen Experten seit Monaten auch vor den Gefahren, die aus der Nutzung der Maschinen-Lern-Modelle erwachsen könnten. Viele davon sind bisher eher theoretisch. Aber Forscher des Secure, Reliable, and Intelligent Systems Lab an der ETH Zürich in der Schweiz haben nun eine ganz reale Bedrohung ermittelt – die durchaus verunsichern kann: Aktuelle Sprachmodelle sind offenbar bereits jetzt sehr gut darin, aus scheinbar belanglosen Texten allerlei private Informationen zu destillieren.

„Wir haben uns eigentlich mit Datenschutz beschäftigt und untersucht, wie Texte anonymisiert werden können“, sagt Robin Staab von der ETH Zürich. Er und seine Kollegen haben dafür ein mittlerweile viel zitiertes Paper von Microsoft studiert, das besagt, dass Sprachmodelle wie GPT-4 deutlich besser als andere aktuelle Programme für diese Aufgabe geeignet sind. Die LLMs – kurz für Large Language Models – können demnach Worte und Formulierungen entdecken, die eine Identifikation ermöglichen, die sonst nicht gefunden werden. „Im Umkehrschluss müsste das dann irgendwie ein Stück weit bedeuten, dass GPT-4 auch mehr Informationen aus einem Text ziehen kann, als andere bekannte Werkzeuge“, sagte Staab. „Daher kam dann unsere Frage auf: Was können solche Modelle erfahren, wenn sie einen Text auslesen, und welche Schlüsse könnten sie ziehen?“

In einem umfangreichen Versuch sammelte das Team rund 520 Nutzerprofile von Reddit und analysierte diese anschließend zunächst selbst über etliche Stunden. „Wir haben sie über alte Kommentare profiliert, versucht persönliche Informationen herauszufischen“, erklärt Mark Vero, der an der Studie mitwirkte. Dafür durchforstete das Team die Texte der Nutzer nach Angaben, die auf Wohnort, Einkommen, Geschlecht, Beziehungsstatus, Bildungsgrad, Alter, Ethnie, Beruf und anderen personenbezogene Informationen hinweisen. Die Fundstücke wurden dabei nach Entdeckbarkeit eingeordnet. Gab jemand selbst konkret an, aus Springfield, Illinois zu kommen, war das auf der Analyseskala eine 1. Musste Google zu Rate gezogen werden, um Hinweise auf ein Restaurant, eine Schule oder eine Straße zu kombinieren, um zum Wohnort zu gelangen, war das eine 5.

„Diese Vorbereitung war wirklich nicht einfach“, sagt Mark Vero. „Und wir haben wirklich nur die Informationen festgehalten, die wir durch Aussagen in den Texten konkret nachweisen konnten. Wir haben nicht wild spekuliert, sondern kombiniert, um eine solide Datengrundlage zu schaffen, die auch für Online-Texte repräsentativ ist.“ Anschließend präsentierte das kleine Team die Originaltexte von Reddit, die es analysiert hatte, verschiedenen Chatbots und Sprachmodellen wie ChatGPT mit GPT-4, Claude, LLaMA 2 und Google PalM und forderte diese auf, ebenfalls persönliche Informationen aus diesen Texten zu extrahieren.

Hohe Treffergenauigkeit

Die Ergebnisse waren erstaunlich. Die Sprachmodelle kamen in vielen Fällen zu den gleichen Schlussfolgerungen wie die Forscher, selbst bei den Angaben, die kombinatorische Tätigkeiten und Recherchen erforderten – nur eben in Sekunden, statt Stunden. Die KI-Systeme ordneten Wohnort, Beruf, Einkommen und andere Details oft deckungsgleich zu. Zwischen 85 und 95 Prozent lag dabei die mittlere Treffergenauigkeit der LLMs beziehungsweise die Übereinstimmung mit den Einschätzungen, die die Studienautoren getroffen hatten. „Unsere eigenen Analysen sind eben das, womit wir es abgleichen können“, sagt Robin Staab. Es sei jedoch unsicher, ob die Sprachmodelle in einigen Fällen nicht vielleicht sogar bessere Einschätzungen getroffen haben könnten als die Menschen, einfach weil sie möglicherweise banale Details, Muster und Querverweise ausmachen, die von den Rechercheuren nicht erkannt wurden.

Bei einem Kommentar schloss GPT-4 aufgrund der Verwendung des Begriffs „hook turn“ etwa darauf, dass der Kommentarautor aus Australien stammen muss – höchstwahrscheinlich aus Melbourne, wo dieses Abbiegemanöver so berühmt wie berüchtigt ist. Andere Redewendungen, Popkulturreferenzen oder Ortsangaben könnten die Eigenschaften der Schreiber von der KI ebenso gut eingrenzen lassen. Jemand der beispielsweise den Karlsplatz in München als Stachus bezeichnet ist wohl eher dort zu Hause als in Berlin. Jemand, der scherzhaft ein „Ja, Meister!“ in einem Kommentar unterbringt, ist wohl ziemlich wahrscheinlich mit der Serie Bezaubernde Jeannie aufgewachsen. Und Erwähnungen eines Restaurants in einem bestimmten Viertel könnten basierend auf Bevölkerungsstatistiken Hinweise auf Ethnie und Einkommen geben. „Die Sprachmodelle könnten solche Details aus einem Text aufgreifen“, sagt Staab. „Ein Mensch könnte sie übersehen, weil ihm die Aufmerksamkeit fehlt und er nicht unbegrenzt gut mit Text umgehen kann.“

Einige KI-Experten mutmaßen, dass Sprachmodelle auch noch deutlich subtilere Informationen wahrnehmen könnten. Basierend auf Vokabular und Grammatik eines längeren Textes könnten sie auf den Bildungshintergrund und basierend auf Wortwahl, Satzstruktur und Schreibfehlerdichte auf die psychische Verfassung eines Individuums schließen. Hier wollen die Schweizer Forscher jedoch nicht spekulieren – denn diese Fragestellungen waren nicht Teil der Studie. Aber: „Was wir sicher sagen können, ist, dass die Modelle sehr gut in der Analyse sind, dass die LLMs sehr gut mit Informationen umgehen können“, sagt Staab. „Ich persönlich glaube nicht, dass ein Mensch irgendetwas aus einem Text herausfinden könnte, was nicht auch eines dieser Modelle herausfinden könnte.“

Viele Missbrauchsmöglichkeiten

Das Team der ETH Zürich sieht in seiner Entdeckung einen Grund zur Sorge. Denn die Sprachmodelle könnten durchaus genutzt werden, um detaillierte Profile von Personen anzufertigen und dadurch ihre Privatsphäre zu untergraben. Insbesondere wenn mehrere Text- und Informationsquellen verknüpft werden. Ein potenzieller Arbeitgeber könnte beispielsweise öffentliche Texte auf LinkedIn, Twitter und Facebook für eine Analyse an ein Sprachmodell geben und Bewerber mit Informationen konfrontieren, die sie nie bewusst geteilt haben. „Besonders kritisch wird es natürlich bei Themen, die noch sensibler sind: Wenn wir etwa über psychische Gesundheit oder Krankheiten sprechen, bei denen Menschen online in vermeintlich anonymisierter Form Hilfe suchen“, sagt Staab. „Oder wenn wir über politische Ansichten reden.“

Ebenso wäre denkbar, dass große Plattformen die Inhalte ihrer Nutzer auf diese Weise verarbeiten, um noch zielgenauer Werbung und Angebote zu präsentieren. Oder dass Datenanalyse-Unternehmen nach dem Vorbild von Cambridge Analytica diese zur gezielten Beeinflussung bei Wahlen und Umfragen einsetzen. Das Missbrauchspotenzial sei jedenfalls sehr groß, warnen die Schweizer. Denn natürlich könnten sich auch Hackergruppen, autoritäre Regierungen, Polizei und Geheimdienste der Technologie bedienen, um Personen zu analysieren oder sogar in Zukunft mit eigenen oder manipulierten Chatbots aktiv auszuspähen. „Wir wollen hier natürlich keiner Firma oder irgendeiner Regierung etwas vorwerfen, das wollen wir hier mal als Disclaimer setzen“, lacht Staab. „Aber es gibt einige hypothetische Szenarien, die man sich überlegen könnte.“

Diese Art der Nutzung und den möglichen kriminellen Missbrauch von Sprachmodellen zu verhindern, wird schwer sein, fürchten die Schweizer Forscher. Denn die Profiling-Fähigkeiten wären eine logische Folge davon, dass Modelle mit einer großen Menge verschiedener Datenarten trainiert werden: Romane, Reiseratgeber, Studien, Bevölkerungsinformationen, private Texte und vieles mehr. Dadurch sammeln Modelle immense Kenntnisse, die sie zur Herstellung von Verknüpfungen und Schlussfolgerungen verwenden können. Wobei Forscher derzeit nicht gänzlich sicher sind, wie genau die Modelle eigentlich zu ihren Ergebnissen kommen. Ein gewisses Basiswissen ist jedenfalls notwendig, um all jene erwünschten Fähigkeiten zu ermöglichen, die Sprachmodelle so nützlich machen. „Je stärker Modelle in den traditionellen Metriken und Aufgaben abschneiden, desto besser eignen sich die Modelle auch für das Profiling“, sagt Mark Vero daher.

Werde Mitglied von 1E9!

Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.

Jetzt Mitglied werden!

Ist Gegenwehr möglich?

Wer sich aktuell vor dem Profiling mit einem Sprachmodell schützen will, muss selbst Vorsorge treffen. Man muss sich also überlegen, welche Informationen man bewusst ins Internet stellt. Außerdem gibt es im Internet Anonymisierungstools, die Texte glätten, Identifikatoren wie Stadt- und Ortsnamen entfernen und zum Teil markante Wörter durch einfachere ersetzen. Doch die „funktionieren in den meisten Fällen nur bedingt“, sagt Staab. Eine Alternative wäre also ironischerweise, gleich ChatGPT oder andere Chatbots zu bitten, einen Text vor der Veröffentlichung zu anonymisieren. All das, räumen die Schweizer ein, wäre natürlich sehr umständlich und für viele Menschen kaum praktikabel – Privacy-Utility Trade-off heißt das unter Sicherheitsforschern. Die Hoffnung sei, so Staab, dass vielleicht auch mit angeschoben durch die Studie „neue intelligente Technologien entstehen, um die Privatsphäre zu stärken“.

Die Autoren der Studie haben sich mit ihren Ergebnissen auch an die Entwickler der Sprachmodelle gewandt. „Wir dürfen nicht sagen, mit wem wir gesprochen haben und was uns genau gesagt wurde“, erklärt Robin Staab. „Aber das allgemeine Feedback, von dem ich berichten kann, war, dass unsere Ergebnisse mit Interesse aufgenommen wurden.“ Die Missbrauchsmöglichkeiten der Sprachmodelle sind den Entwicklern spätestens jetzt bekannt und werden wohl bei der Weiterentwicklung der Modelle berücksichtigt. „Wir sind sehr positiv aus unseren Gesprächen herausgegangen. Wir haben keine Abwehr oder negative Erfahrungen erlebt“, so Staab. „Ich denke, [unsere Erkenntnisse] sind offen aufgenommen worden und ich gehe auch davon aus, dass das in Zukunft zumindest ein Stück weit in die Entwicklung einfließen wird.“

Diese Artikel von 1E9 könnten dich auch interessieren:

Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!

Sprich mit Job, dem Bot!

Job, der Bot

War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!

6 „Gefällt mir“

Dies kam gerade als anonymer Leserbrief zum Thema rein:

"Die KI-Funktion "Profiling" könnte auch bei Literaturanalysen verwendet werden. "