„Es muss nicht immer KI sein“: Carla Hustedt warnt Behörden vor Software, die sie nicht verstehen

Weltweit wollen Staaten und Behörden bei der Digitalisierung aufholen – und setzen dabei verstärkt auf Künstliche Intelligenz. Das geht allerdings nicht immer gut. Wir haben mit Carla Hustedt, die bei der Bertelsmann Stiftung das Projekt „Ethik der Algorithmen“ verantwortet, darüber gesprochen, was Behörden beim Einsatz von KI beachten sollten.

Ein Interview von Wolfgang Kerler

1E9: Die ganze Welt redet über Künstliche Intelligenz, aber in eurem Projekt sprecht ihr meistens nur von Algorithmen und automatisierten Entscheidungssystemen. Warum eigentlich?

Carla Hustedt: Viele Tech-Unternehmen sind sehr gut darin, ihre Produkte zu vermarkten. Dabei hilft ihnen auch der Begriff der Künstlichen Intelligenz. Manchmal habe ich das Gefühl, dass sogar die Warnungen vor den Risiken von KI als Verkaufsargument genutzt werden. Wenn wir Angst haben müssen vor der Superintelligenz, dann müssen die Produkte mit KI ja wirklich krass sein! Über die Singularität, also der Zeitpunkt, an dem KI die menschliche Intelligenz übertrifft, wird nicht durch Zufall vor allem im Silicon Valley gesprochen. Dabei bezweifeln viele Forscher:innen, dass es jemals zu diesem Punkt kommen wird.

Wir vermeiden den Begriff KI jedenfalls aus zwei Gründen. Zum einen, weil wir der Meinung sind, dass nicht die technische Komplexität, sondern die gesellschaftliche Wirkung, die ein System hat, darüber entscheiden sollte, wie viel Aufmerksamkeit wir dem Anwendungsbereich schenken. Es gibt auch Fälle, in denen ganz einfache algorithmische Systeme großen Schaden anrichten, bei denen es sich nicht um Künstliche Intelligenz handelt.

Punkt zwei ist, dass der Begriff Künstliche Intelligenz eben auch deshalb problematisch ist, weil er ein falsches Verständnis vermittelt, was diese Systeme können. Sie werden leicht überschätzt. Gleichzeitig verschleiert der Begriff die menschliche Verantwortung, die dahintersteckt. Denn er suggeriert, es würde sich um ein intelligentes und autonom handelndes Wesen handeln – was ja nicht der Fall ist.

Die Fortschritte, die bei der Entwicklung von KI in den vergangenen Jahren gemacht wurden, basieren fast alle auf maschinellem Lernen. Was hältst du davon?

Carla Hustedt: Systeme maschinellen Lernens sind dann sinnvoll, wenn man sehr, sehr große Datenmengen hat, in denen zum Beispiel Muster erkannt werden sollen. Da käme man nicht weit, wenn man selbst alle Regeln vorgibt, anhand derer die Algorithmen zu Ergebnissen kommen können. Unglaubliche Chancen gibt es daher etwa in der Medizin, wo beispielsweise präzisere Diagnosen auf Röntgenbildern oder stärker personalisierte Behandlungsmethoden möglich werden.

Die Herausforderung ist allerdings, dass wir beim maschinellen Lernen eben nicht immer verstehen, wie die Systeme funktionieren, weil sie sich selbst trainiert haben. Auch Personen, die diese Systeme entwickelt haben, können das nicht mehr komplett nachvollziehen. Das mag bei einigen kommerziellen Anwendungen kein Problem sein, wenn Fehler keine großen Auswirkungen auf das Leben von Menschen haben. Doch oft können von Algorithmen getroffene Entscheidungen gravierende Folgen für Menschen haben. Dann muss man natürlich verstehen können, wie dieser Fehler zustande gekommen ist, um ihn korrigieren zu können.

Dass KI-Systeme nicht immer so funktionieren, wie es sich die Menschen, die sie einsetzen vorgestellt haben, haben wir in den vergangenen Jahren immer wieder mitbekommen: Gesichtserkennungssysteme, die insbesondere schwarze Menschen falsch identifizieren, Fahrassistenzsysteme, die Hindernisse übersehen, oder Programme, die die Bewerbungen von Frauen systematisch aussortieren. Auch in eurer Arbeit geht es viel um diese Fehler, vor allem aber bei algorithmischen Systemen, die vom Staat eingesetzt werden. Warum?

Carla Hustedt: Staatliche Anwendungsbereiche betreffen das Leben von Menschen meistens unmittelbar. Im privatwirtschaftlichen Bereich ist es ärgerlich, wenn mir Werbeanzeigen angezeigt werden, die diskriminierend sind, oder eine Fitness-App algorithmische Systeme nutzt, die für manche Menschen besser funktionieren als für andere. Aber ich bin nicht grundsätzlich gezwungen, diese Systeme zu nutzen.

Wenn aber der Staat zur Verteilung von Sozialleistungen oder zur Benotung von Schüler:innen, wie es gerade in Großbritannien der Fall war, solche Systeme einsetzt, dann können sich Menschen, die davon betroffen sind, dem nicht entziehen. Genau deshalb schauen wir uns sehr häufig staatliche Einsatzgebiete an. Dort sollen zwar meistens positive Ziele erreicht werden. Aber gut gemeint ist nicht immer gut gemacht.

In Großbritannien fielen Schulnoten, die durch Algorithmen ermittelt wurden, zu schlecht aus. In den USA sorgten Gesichtserkennungssysteme für die Verhaftung unschuldiger Personen. In Australien sorgte ein Algorithmus dafür, dass der Staat ungerechtfertigt Sozialhilfe zurückforderte. Warum passieren Behörden solche Pannen?

Carla Hustedt: Eine Ursache ist aus meiner Sicht, dass Software eingekauft wird, weil man glaubt, damit ein komplexes soziales Problem wie Straftaten effizienter lösen zu können. Wegen dieser Effizienzhoffnung, der gleichzeitigen Überschätzung der Technologie und der Unterschätzung der gesellschaftlichen Komplexität wird Software ohne die Maßnahmen eingesetzt, die es zusätzlich bräuchte. Dazu gehört vor allem ein Kompetenzaufbau bei den Personen, die das System einsetzen – in Schulen, bei der Polizei, in Sozialbehörden. Häufig ist es sogar so, dass Software eingesetzt wird, um parallel Stellen zu streichen oder zumindest keine zusätzlichen mehr zu schaffen, weil man ja schon Geld für die Software ausgegeben hat.

Verstehe, was die Zukunft bringt!

Als Mitglied von 1E9 bekommst Du unabhängigen, zukunftsgerichteten Tech-Journalismus, der für und mit einer Community aus Idealisten, Gründerinnen, Nerds, Wissenschaftlerinnen und Kreativen entsteht. Außerdem erhältst Du vollen Zugang zur 1E9-Community, exklusive Newsletter und kannst bei 1E9-Events dabei sein. Schon ab 2,50 Euro im Monat!

Jetzt Mitglied werden!

Was sind denn aus deiner Sicht die Voraussetzungen dafür, dass du einem KI-System – beziehungsweise einem auf maschinellem Lernen basierenden System – vertraust, das vom Staat eingesetzt wird?

Carla Hustedt: Auf der Ebene der Organisationen und Personen, die ein System entwickeln oder einsetzen, ist für mich wichtig, dass das System inklusiv ist. Von dem Moment an, an dem man darüber nachdenkt, ein solches System zu verwenden, sollten die Personen, die es nutzen, und die, die davon betroffen sind, eingebunden werden. So läuft man nicht Gefahr, dass ethische Entscheidungen oder wertebezogene Prioritätensetzungen durch Informatiker:innen getroffen werden müssen, die sich dieser Tatsache vielleicht nicht einmal bewusst sind. Außerdem muss sichergestellt werden, dass die Daten, die zum Training des Systems verwendet werden, repräsentativ sind – also die Diversität der Gesellschaft widerspiegeln.

Selbst dann werden die Systeme immer wieder Fehler machen. So wie Menschen immer wieder Fehler machen. Natürlich sollten sie, soweit es geht, vermieden werden. Doch es müssen auch Wege gefunden werden, mit Fehlern umzugehen. Das heißt beispielsweise, dass Prüfungen durch unabhängige Prüfstellen erlaubt sein müssen. Zumindest, wenn es um Systeme geht, die über Teilhabe von Menschen entscheiden.

Außerdem muss man es den betroffenen Individuen sehr leicht machen, zu erkennen, dass sie möglicherweise ungerecht behandelt wurden. Sie müssen erfahren, dass ein Algorithmus entschieden hat. Und man muss – soweit das möglich ist – erklären, wie die Entscheidung zustande gekommen ist. Zum Beispiel, indem man sagt, welche Daten genutzt wurden und für die Entscheidung den Ausschlag gaben. Nur so können die Betroffenen Fehler identifizieren. Natürlich braucht es dann auch einfache Beschwerdemechanismen. Gemeinsam mit dem iRights.Lab haben wir im Projekt „Ethik der Algorithmen“ eine Handreichung für die digitale Verwaltung entwickelt, die anhand konkreter Fallbeispiele erklärt, wie solche Forderungen umgesetzt werden können.

Auf der politischen Ebene ist es wichtig, dass bestehende Kontrollbehörden, die es oft schon gibt, zum Beispiel im Medizinbereich oder beim Datenschutz, in ihren Kompetenzen gestärkt werden und bei Bedarf Zugriff auf den Code und die Daten bekommen. Außerdem muss die Zivilgesellschaft gestärkt werden, um auch eine Aufsicht und eine kritische Debatte zu ermöglichen.

Muss es eigentlich immer gleich KI sein?

Carla Hustedt: Ganz klar, es muss nicht immer KI sein. In vielen Anwendungsfällen geht es auch einfacher. Ein Beispiel dafür stammt aus Deutschland, aus Nordrhein-Westfalen. Dort wollten die Polizeibehörden als eine der ersten in Deutschland eine Predictive-Policing-Software einsetzen, die prognostizieren soll, wo mit besonders hoher Wahrscheinlichkeit Straftaten passieren werden.

Nun kann man solche Software grundsätzlich skeptisch sehen, weil es sehr wenig Evidenz gibt, dass sie tatsächlich funktioniert. Aber wie in NRW vorgegangen wurde, war sehr vorbildlich. Die Behörden haben eng mit der Wissenschaft zusammengearbeitet und ein komplexes KI-System, das auf maschinellem Lernen basierte, und ein einfaches, regelbasiertes System verglichen. Da das einfache System nicht viel schlechter abschnitt, haben sie sich dafür entschieden – mit der Begründung, dass sie genau nachvollziehen könnten, wie es funktioniert.

Zum Schluss würde ich außerdem gerne über ein Thema sprechen, das nicht wirklich spannend klingt, aber einen riesigen Wirkungshebel darstellt.

Und das wäre?

Carla Hustedt: Die öffentliche Beschaffung. Wenn sich Behörden ein System einkaufen, dessen Funktionsweise sie überhaupt nicht verstehen, bleiben sie komplett abhängig von weiteren Leistungen dieses Anbieters. Dadurch gefährden sie ihre Handlungsfreiheit und es können enorme zusätzliche Kosten entstehen. Manchmal wäre es dann wahrscheinlich günstiger, einfach ein paar Menschen mehr einzustellen. Daran wird aber zu selten gedacht.

Dieser Artikel ist Teil des 1E9-Themenspecials „KI, Verantwortung und Wir“. Darin wollen wir herausfinden, wie wir Künstliche Intelligenz so einsetzen, dass die Gesellschaft wirklich davon profitiert. Alle Inhalte des Specials findest du hier.

6 Like

Danke für die vielen Einschätzungen @carla.hustedt!

Das größte Problem sehe ich im Kompetenzaufbau auf Seiten der öffentlichen Verwaltung und auch der Politik. Wieso sollten Fachkräfte zum Staat, wo sie schlechter verdienen? Und wieso sollten Unternehmen, die dem Staat gerne etwas verkaufen, daran interessiert sein, auf der „Gegenseite“ für mehr Kompetenz, die im Zweifel in kritischen Nachfragen mündet, sorgen?

Der Punkt ist wirklich zentral, aber ich fürchte, daran könnte vieles scheitern. Und am Ende wird dann immer mehr KI von Behörden eingesetzt, aber niemand dort weiß so genau, wie sie arbeitet, wie sie zu Entscheidungen kommt und welche Daten die Grundlage dafür sind.

3 Like

Hier muss der Staat einfach klare Anreize schaffen, wie er das beispielsweise nach der Abschaffung der Wehrpflicht auch bei der Bundeswehr getan hat. Faire Entlohnung und ein sicherer Arbeitsplatz denke ich sind für viele Arbeitnehmer sehr relevant. Für Unternehmen ist es meiner Meinung nach auch relevant, da die kritischen Nachfragen ja wichtig sind. Ich persönlich möchte nicht, dass meine Firma nächste Woche in der Presse steht, weil sie einen diskriminierenden Algorithmus entwickelt hat.
Wichtiger ist denke ich aber der zweite Punkt: In kritischen Anwendungen wie Predictive Policing, muss die Entscheidung eines Algorithmus nachvollziehbar sein. Hier gibt es ja auch schon Ansätze, wie dies zu bewerkstelligen ist. Als wir z.B. eine KI entwickelt haben, die die Sterblichkeit von Intensivpatienten berechnet, hat diese die für die Entscheidung relevanten Messwerte markiert und angegeben wie stark ein Wert die Entscheidung beeinflusst. Jemand der dann das entsprechende Fachwissen (in unserem Fall natürlich ein Arzt) mitbringt, kann dann nachvollziehen woher die Entscheidung stammt und ob er sich dieser anschließt. Wissen im Bereich KI ist dann aber nicht mehr von Nöten.

2 Like

@carla.hustedt Sehr interessantes Beispiel! Gibt es dazu mehr Infos? Und habt Ihr die dabei begleitet, oder wie kamen die überhaupt darauf, so vorzugehen?

1 Like

Wir haben gemeinsam mit der Stiftung Neue Verantwortung einen Expert:innen-Workshop organisiert und ein Policy Papier zum Thema Predictive Policing geschrieben. In dem Zusammenhang waren wir auch eng mit dem Landeskriminalamt NRW im Austausch. bei der Recherche für das Buch „Wir und die intelligenten Maschinen“ war ich dann auch vor Ort in Düsseldorf, hab mit den Mitarbeiter:innen gesprochen und mir die Software angeschaut. Zur Studie (gibt nen guten Überblick zu dem Thema) gehts hier: https://www.bertelsmann-stiftung.de/de/unsere-projekte/ethik-der-algorithmen/projektnachrichten/predictive-policing-mit-algorithmen-vor-die-lage-kommen

Hier gehts direkt zur Seite von SKALA, dem NRWler Predictive Policing Projekt. Sie haben ihre Evaluation komplett öffentlich gemacht: https://polizei.nrw/artikel/projekt-skala-predictive-policing-in-nrw-ergebnisse

5 Like

Nach kapitalistischer Logik der lokalen Gewinnmaximierung handelt jeder Sales-Mensch von Tech-Firmen genau richtig, wenn er/sie versucht den Staat maximal auszubeuten und abhängig zu machen. Gesamtgesellschaftlich ist ein solches Verhalten wiederum asozial. Hier muss ein gedanklicher/ethischer Wandel in den Köpfen der Tech-Arbeitgeber und -Arbeitnehmer laufen (der damit beginnt, dass man sich schämt, wenn man Leute wie Jobs, Zuckerberg, Musk, Besos, etc. als Vorbilder nennt.)

1 Like

Ich finde die Unterscheidung KI und ADM wichtig, v.a. da dadurch das Problem spezifischer angegangen werden kann. Deswegen ist es nicht hilfreich, allgemein von Algorithmen zu sprechen, denn Software ohne Algorithmen gibt es nicht.

Der Einsatz von ML durch den Staat hat noch einen fahlen Beigeschmack, wenn er das Monopol über Daten hat.

Ich finde das Beispiel des österreichischen AMS (entspricht dt. Jobcenter) interessant, dass ADM für die Zuweisung von Weiterbildungsmaßnahmen an Arbeitssuchenden verwenden wollte. Letzlich wurde es wieder abgeschafft. Interessant finde ich, dass Katharina Zweig (Leiterin des Algorithm Accountability Lab der TU Kaiserlautern) die Vorgehensweise zum Einsatz dieses Systems als vorbildliche „Blaupause“ bezeichnet hat (Quelle: K. Zweig, Warum Algorithmen kein Taktgefühl haben). Das hat mich doch überrascht. @carla.hustedt: Was war/ist die Einordnung der „Algorithmenethik“-Gruppe dazu?

2 Like