Die Europäische Union will uns mit ihrem AI Act vor bösem Social Scoring wie im autoritär regierten China schützen. Wunderbar, oder? Unsere Kolumnistin Kryptomania alias Aleksandra Sowa hat sich das europäische Regelwerk zu Künstlicher Intelligenz sowie das real existierende Sozialkreditsystem in China genauer angeschaut. Der AI Act kommt dabei überraschend schlecht weg, die chinesische Praxis dafür deutlich weniger gruselig als oft angenommen.
Eine Kolumne von Dr. Aleksandra Sowa
„Bereit, die Chancen der Künstlichen Intelligenz zu nutzen?“, fragte das Social-Media-Team der Europäischen Kommission an dem Tag, als der „weltweit erste umfassende Gesetzesrahmen für Künstliche Intelligenz“ – der AI Act – in Kraft trat. Europäische Bürgerinnen und Bürger sowie Unternehmen könnten nun, so hieß es in dem Post, sicher und vertrauensvoll die Potenziale einer verlässlichen KI ausschöpfen, die verbindlichen Regeln folgt. Dazu gehört auch, dass KI-Anwendungen mit unvertretbarem Risiko, wie etwa Social Scoring, verboten werden.
Social Scoring? Darunter kann sich inzwischen fast jeder etwas vorstellen, oft allerdings ist das nichts Gutes. Als der Berichterstatter der EVP für die KI-Verordnung, MdEP Axel Voss (CDU), auf dem Handelsblatt Datenschutzkongress am 21. Mai 2024 in Berlin, den vom Rat der Europäischen Union „endgültig“ beschlossenen AI Act lobte, sagte er auch, dass das sogenannte chinesische Social Scoring das sei, was man nicht wolle. Schufa Scoring oder Scoring sollen hingegen weiterhin erlaubt sein.
Während in der englischen Fassung des AI Acts „Social Scoring“ genau einmal erwähnt wird – und zwar im Erwägungsgrund 31 –, sucht man den Begriff in der deutschen Version der Richtlinie vergeblich. Konkret heißt es im ErwG 31: „[…] Solche KI-Systeme bewerten oder klassifizieren natürliche Personen oder Gruppen natürlicher Personen in einem bestimmten Zeitraum auf der Grundlage zahlreicher Datenpunkte in Bezug auf ihr soziales Verhalten in verschiedenen Zusammenhängen oder aufgrund bekannter, vermuteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale.“
Aha. Und weiter: „Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Kontexten führen, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, oder zu einer Schlechterstellung führen, die im Hinblick auf die Tragweite ihres sozialen Verhaltens unverhältnismäßig oder ungerechtfertigt ist.“
Alles klar? Es geht also um soziale Bewertungen – genauer gesagt um „KI-Systeme, die solche inakzeptablen Bewertungspraktiken mit sich bringen und zu einer solchen Schlechterstellung oder Benachteiligung führen“. Diese „sollten […] verboten werden“. Aber nicht ohne Ausnahmen, denn „[d]ieses Verbot sollte nicht die rechtmäßigen Praktiken zur Bewertung natürlicher Personen berühren, die im Einklang mit dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck durchgeführt werden“, wie der ErwG 31 weiter bestimmt.
Was wird hier eigentlich verboten?
Wir wissen nun hoffentlich, was Social Scoring ist. Die Begriffsbestimmung im ErwG 31 lässt eigentlich keine Zweifel offen. Oder?
Erstens: Wird hier etwas verboten, das es gar nicht gibt? Im ErwG 31 wird zwar eine äußerst komplexe und weit gefasste Definition geliefert, die vermuten lässt, dass solche Systeme bereits existieren oder in Planung sind. Doch eine klare Abgrenzung zu anderen KI-Anwendungen, wie Predictive Policing oder Predictive Analytics, fehlt. Noch vor wenigen Jahren warnten Science-Fiction-Dystopien wie Minority Report vor solchen Technologien – heute lesen wir in den Medien immer häufiger von ihrer tatsächlichen Anwendung durch Polizei und Justiz in verschiedenen Ländern. Fazit: Gemäß AI Act sind sie nicht explizit verboten, sofern sie erlaubt sind.
Zweitens: Verbietet der AI Act etwas, das ohnehin schon verboten ist? Die Nutzung von Daten in KI-Systemen, „die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden,“ dürfte bereits durch die DSGVO und die dort verankerte Zweckbindung ausgeschlossen sein. Und das nicht erst dann, wenn soziale Bewertungen aus KI-Systemen zu einer Schlechterstellung oder Benachteiligung bestimmter Personen oder Gruppen führen, sondern generell. Dass die EU den Grundsatz der Zweckbindung auch acht Jahre nach Inkrafttreten der DSGVO ernst nimmt, zeigt eine aktuelle Entscheidung des EuGH. Dieser stellte fest, dass sogar eine Datenpanne eine – unbeabsichtigte, dennoch unzulässige – Veränderung der Zweckbestimmung darstellen kann.
In Artikel 5 Absatz 1 Buchstabe b DSGVO heißt es ausdrücklich: „Personenbezogene Daten müssen […] für festgelegte, eindeutige und legitime Zwecke erhoben werden und dürfen nicht in einer mit diesen Zwecken nicht zu vereinbarenden Weise weiterverarbeitet werden.“ Ausnahmen gibt es nur für „eine Weiterverarbeitung für im öffentlichen Interesse liegende Archivzwecke, für wissenschaftliche oder historische Forschungszwecke oder für statistische Zwecke“. Digitalisierte Stasi-Akten fallen unter diese Ausnahmen – die Verwertung personenbezogener Daten in Bewertungssystemen oder KI-Systemen jedoch eindeutig nicht.
Und schließlich, drittens: ErwG 31 könnte doch eine Verbindung zum „Chinesischen“ aufweisen, allerdings anders, als es der KI-Berichterstatter meinte – nämlich durch den Gebrauch von „Fachchinesisch“. Das bedeutet: Der Text ist in einer derart schwer verständlichen Sprache verfasst, dass ihn vermutlich nur eine kleine Gruppe von Eingeweihten verstehen kann. Die Politiker seien auch eine Art Experten, sagte der Futurologe Stanislaw Lem, nur eben selbsternannte.
Auf Lesbarkeit hat die EU offenbar nicht geachtet
Eine Lesbarkeitsanalyse des sechs Sätze und 187 Wörter umfassenden ErwG 31 ergibt einen Lesbarkeits-Score von gerade einmal 7 – basierend auf dem sogenannten „Fleschindex“, benannt nach dem 1938 in die USA emigrierten österreichischen Wissenschaftler Rudolf Flesch. Ein Fleschindex zwischen 0 und 10 wird normalerweise bei Texten erreicht, deren Lesbarkeit als extrem schwierig gilt, etwa bei wissenschaftlichen Abhandlungen, die für Akademiker gedacht sind.
Obwohl auch schon mal negative Werte vorgekommen sind, bewegt sich der Fleschindex typischerweise zwischen 0 und 100, wobei 100 die höchste Lesbarkeit anzeigt. Zum Vergleich: Der Abschnitt Genesis in der Luther-Bibel erreicht einen Fleschindex von 75, er ist also mittelleicht lesbar und sollte für Menschen mit einem Bildungsniveau zwischen der 6. und 8. Klasse gut verständlich sein.
Die derzeit populärste generative KI, ChatGPT, war bei ihrer Lesbarkeitsbewertung des ErwG 31 etwas gnädiger. Mit dem Python-Modul „textstat“ errechnete sie einen Score von 21 und wies darauf hin, dass „dieser Wert darauf hin[deutet], dass der Text sehr schwer verständlich ist und wahrscheinlich eine höhere Bildung oder Fachkenntnisse erfordert, um ihn vollständig zu erfassen.“
Die (durch den AI Act noch nicht verbotene) Aufgabe, den ErwG 31 verständlich zu formulieren, meisterte ChatGPT vorbildlich: „KI-Systeme, die Menschen bewerten, können diskriminieren und ausgrenzen. Diese Systeme gefährden die Menschenwürde und die Gleichheit. Sie bewerten Personen anhand ihres Verhaltens oder ihrer Eigenschaften. Diese Bewertungen können unfair sein. Oft haben sie nichts mit den ursprünglichen Daten zu tun. Solche Praktiken sollten verboten werden. Dieses Verbot gilt nicht für rechtmäßige Bewertungen nach EU- und nationalem Recht.“, lautet die alternative Formulierung. Voilà! Sieben Sätze, 57 Wörter und ein Fleschindex von 49 – verständlich immerhin für Studenten.
„Die berüchtigtsten Schreiber von langen Sätzen sind die Juristen“, bemerkte Rudolf Flesch in Besser schreiben, sprechen, denken, obwohl er da noch nicht den ErwG 31 gelesen haben konnte. „Hinter jedem endlosen juristischen Satz scheint der Gedanke zu stehen, dass sich alle Bürger in Verbrecher verwandeln, sobald sie eine Lücke im Gesetz entdecken.“ Die Vermutung liegt nahe, dass im Fall von ErwG 31 dieser gute Vorsatz ins Gegenteil verkehrt wurde.
Alles nur Populismus? Und taugt China überhaupt als abschreckendes Beispiel?
Die Erwähnung von Social Scoring als eine der verbotenen Anwendungen Künstlicher Intelligenz (KI) „ohne jegliche Definition oder Erklärung in den einleitenden Paragrafen zum AI Act“ mutet laut Marianne von Blomberg, Fellow am Lehrstuhl für chinesische Rechtskultur der Universität zu Köln, die im Rahmen ihrer Doktorarbeit an der Zhejiang University und der Universität Köln das Studium dieser Form der Verhaltensregulierung vertieft, „eher populistisch an“. Man wollte eventuell darauf hindeuten, „dass man verhindern wolle, was in China passiere“, ohne dabei darzulegen, was genau das sei.
In China und in Deutschland untersucht Marianne von Blomberg, wie sich die neue, auf Assessments basierende Form der Verhaltensregulierung zu der in unseren Gesellschaften traditionellen Form der Verhaltensregulierung – dem Recht – verhält: „Wie das Recht setzt auch Chinas Sozialkreditsystem Normen, verfügt über eine Reihe von Mechanismen für deren Durchsetzung und stellt Wege bereit, fehlerhafte Maßnahmen zu korrigieren.“ Dabei sei es trotzdem eng mit dem existierenden Rechtssystem verbunden, so sind zum Beispiel viele Sozialkreditnormen oft bereits vorhandene „Rechtsnormen, die als relevant für die Vertrauenswürdigkeit einer (juristischen) Person gelten“.
Eine Erkenntnis aus ihrer Forschung: Das chinesische Sozialkreditsystem (SKS) zielt vor allem auf die Regulierung von Unternehmen ab. Viele Jahre lang galt China bei westlichen Unternehmen als eine Art „Wilder Westen“, wo es keine Regeln für Umwelt- oder Datenschutz gab und so gut wie jede Schandtat, insbesondere bezüglich der Verwendung oder Auswertung von personenbezogenen Daten, erlaubt schien. Während in Deutschland solche „Regulierungslücken“ rasch mit einem Paket an neuen Gesetzen geschlossen werden – die aktuelle Ampel-Regierung macht es vor – greift die chinesische Regierung zu anderen Mitteln, um Kontrolle auszuweiten und zu verstärken.
Initiativen des SKS, wie das chinesische Sozialkreditsystem abgekürzt wird „sind zu guten 90 Prozent nicht mit Individuen, sondern mit juristischen Personen befasst“, erklärte Marianne von Blomberg für diese Kolumne, „SKS-Projekte, welche Individuen betreffen und mit echten Strafen einhergehen, sind häufig keine Scoring-Systeme, sondern basieren auf schwarzen Listen.“ Gerichte verwalten beispielsweise Listen von „vertrauensbrechenden Urteilsverweigerern“. „Dies sind Individuen, die einer gerichtlichen Anordnung, häufig Zahlungen, nicht Folge leisten, obwohl sie könnten“, erklärt sie. „Personen, die auf diesen gerichtlichen schwarzen Listen verzeichnet sind, wird ‚Luxuskonsum‘ verweigert“, also zum Beispiel Flug- oder Zugtickets, Hotelaufenthalte oder die Möglichkeit, ihre Kinder auf Privatschulen zu schicken.
Schuldner-Listen oder, moderner gesagt, Schuldner-Datenbanken sind auch in Europa weit verbreitet. Doch die Tradition solcher Verzeichnisse schwappte nicht etwa von den sozialistisch geprägten Ländern des ehemaligen Ostblocks auf das demokratische Westeuropa über – es war genau umgekehrt.
Social Scoring existiert auch im „Westen“ längst
Das chinesische Sozialkreditsystem sei „weniger ein System als vielmehr eine grobe Governance-Strategie“, erklärt die Forscherin. Bei den Behörden, in der Verwaltung, in privaten sowie staatlichen Unternehmen, Stadtregierungen, Industrieverbänden etc. existiert eine Vielzahl heterogener, unabhängiger und nicht miteinander verknüpfter Projekte und Einzelinitiativen, die kaum mehr als die gemeinsame Nutzung der Rhetorik um „Vertrauenswürdigkeit“ miteinander gemein haben.
Die in westlichen Ländern verbreitete Vorstellung, dass „der chinesische Staat eine einzig von Xi Jinping gelenkte Maschinerie ist, die genau das umsetzt, was von den zentralen Planern festgelegt wird“, trifft beim SKS laut Marianne von Blomberg nicht zu. Ebenso wenig entspricht die Idee der Realität, dass ein einziger Score, verwaltet von der Zentralregierung, das Leben jedes Einzelnen diktiert. Stattdessen wird man mit heterogenen Systemen von vielen Akteuren konfrontiert, darunter auch von privatwirtschaftlichen Unternehmen wie Alibaba, die unterschiedliche Interessen verfolgen.
Was beim Vergleich der Systeme in der Politik und in den westlichen Medien oft übersehen wird: Social Scoring im Sinne der Bewertung von Personen aufgrund ihres Verhaltens ist längst in Europa und den USA angekommen. Beispiele dafür sind die Ratings von Airbnb, Uber oder der Auskunftei Schufa. Diese Scoring-Systeme werden von Tech-Unternehmen aus dem Silicon Valley ebenfalls mit der Rhetorik der „Vertrauensbildung“ beworben. Das Verbot im ErwG 31 trifft auf diese Systeme offenbar nicht zu.
Noch erstaunlicher als das Verbot eines chinesischen Social Scoring, das in der Form, wie es im AI Act beschrieben wird, möglicherweise gar nicht existiert, ist die Hartnäckigkeit, mit der die Politik und westlichen Medien an dessen Vorstellung festhalten. Trotz Aufklärung, Forschung, wie die von Marianne von Blomberg, wissenschaftlichem Austausch und relativ gut zugänglichen Quellen zum SKS, bleibt die Berichterstattung rund um das Narrativ des „chinesischen Social Scoring“ verhaftet. Obwohl diese Quellen ein umfangreiches „fact checking“, wenn nicht sogar Debunking, ganz sicher aber mindestens eine vielseitige Information über das Thema, ermöglichen.
„Da sind erstens Anwendungen, die grundsätzlich verboten werden“, berichtete Die Zeit Anfang August, „Soziale Kreditsysteme nach chinesischem Vorbild zum Beispiel, mit denen Staaten ihre Bürger benoten und gängeln“. Auch Legal Tribune Online (LTO) verweist in einer dreiteiligen Miniserie zum Inkrafttreten des AI Act auf den risikobasierten Ansatz und „bestimmte Praktiken aus dem KI-Bereich“, die als verboten eingestuft werden: „Hierbei handelt es sich etwa um das Social Scoring – zuletzt prominent geworden durch Chinas Sozialkreditsystem […]“. Obwohl im AI Act (in der englischen Fassung) lediglich vom Social Scoring – nicht vom „chinesischen Social Scoring“ – die Rede ist. Und obwohl die Praxis des SKS in China mit schwarzen Listen und Bonitätssystemen den Bewertungssystemen in Europa oder den USA gar nicht unähnlich – und nach dem jeweiligen Recht offenbar legal ist.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Das Fact Checking der Social-Scoring-Fantasien bringt wenig
Zusammen mit Chuncheng Liu, Postdoktorand bei Microsoft Research, untersuchte Marianne von Blomberg die Berichterstattung zum Thema SKS in 331 Artikeln, die zwischen 2002 und 2022 in den USA veröffentlicht wurden, auf der Suche nach wiederkehrenden Mustern. Und stellten sich anschließend die Frage, ob es überhaupt relevant ist, aufzuklären, wie viele der SKS-Fantasien nicht faktenbasiert sind. Welche Funktion hat die Art und Weise, wie das SKS in den US-Medien konstruiert oder dargestellt wird, für die Information der Öffentlichkeit über andere gesellschaftliche oder politische Themen, fragten von Blomberg und Liu?
Beim Thema Social Credit System scheint das „fact checking“, das als das Nonplusultra der Arbeit forensischer Abteilungen zur Aufdeckung und Bekämpfung von Desinformation gilt, an seine Grenzen zu stoßen. Oder, im Gegenteil, es zeigt vielleicht, wie erfolgreich in diesem Fall das Prebunking gewirkt hat. Anders als beim Debunking, bei dem es ja gerade um die Enttarnung von Mythen geht, handelt es sich beim Prebunking um eine Art Vorwarnung, die Menschen in die Lage versetzen soll, irreführende Argumente zu erkennen und zu widerlegen.
„Prebunking-Botschaften sollen den Menschen helfen, manipulative Inhalte zu erkennen und ihnen zu widerstehen“, erklärt Google. Nur scheint das Prebunking beim Thema (chinesisches) Social Scoring eine so starke „Wehret den Anfängen“-Erzählung geliefert zu haben, dass die Realität im Westen, aber auch in China dagegen keine Chance mehr hat. Zu viel Prebunking macht das Debunking nun nahezu unmöglich.
Der Futurologe Stanislaw Lem war der Ansicht, dass Wissen den Aberglauben selbst ablösen müsse – doch dafür brauche es Zeit. Und dass das vorrangige Ziel der Menschheit zunächst die Verbesserung der eigenen Intelligenz sein sollte. Allerdings scheint es, als ginge das nicht mehr ohne die Hilfe von Tech-Konzernen und großen Medienhäusern.
Das Gespräch mit Marianne von Blomberg wurde in Form eines schriftlichen Interviews geführt. Auf diese Publikation wird Bezug von ihr und Chuncheng Liu wird im Artikel Bezug genommen: Marianne von Bloomberg, Chuncheng Liu. 2024. The Techno-dystopia Imagined: The Making of „Chinese Social Credit System“ in US Media. Central Queensland University, Melbourne (18.6.2024).
Unsere Kolumnistin Dr. Aleksandra Sowa gründete und leitete zusammen mit dem deutschen Kryptologen Hans Dobbertin das Horst Görtz Institut für Sicherheit in der Informationstechnik. Sie ist zertifizierter Datenschutzauditor und IT-Compliance-Manager. Aleksandra ist Autorin diverser Bücher und Fachpublikationen. Sie war Mitglied des legendären Virtuellen Ortsvereins (VOV) der SPD, ist Mitglied der Grundwertekommission und trat als Sachverständige für IT-Sicherheit im Innenausschuss des Bundestages auf. Außerdem kennt sie sich bestens mit Science Fiction aus und ist bei Twitter als @Kryptomania84 unterwegs.
Alle Ausgaben ihrer Kolumne für 1E9 findet ihr hier.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!