Ein Start-up hat Bilder aus einem Foto-Dienst genutzt, um einen Algorithmus für Gesichtserkennung zu entwickeln. Die Kunden wussten davon nichts. Die US-Handelsbehörde hat das Unternehmen nun gezwungen, den Algorithmus zu löschen. Das könnte wegweisend sein.
Von Michael Förtsch
Im August 2020 wurde der Foto-Dienst Ever nach sieben Jahren abgeschaltet. Tausende von Nutzern hatten von ihren Smartphones Milliarden von Fotos und Videos von sich selbst, Freunden und Familie auf die Server des dahinterstehenden Start-ups Everalbum geladen. Wohl ganz in der Annahme, dass diese dort sicher, privat und vor widerrechtlichen Zugriffen geschützt gelagert werden. Was sie nicht wussten: Das Unternehmen Everalbum sammelte die Fotos und Videos, auf denen Menschen zu sehen waren, und nutze sie bereits seit 2017 heimlich, um damit eine Künstliche Intelligenz für seinen Dienst Ever AI zu trainieren. Das Start-up wollte so mit einzigartigen und für andere Unternehmen nicht nutzbaren Datenbergen nebenbei ein Gesichtserkennungssystem entwickeln.
Ein Bericht von NBC News hatte das 2019 aufgedeckt. Erst die Recherche der Journalisten führte damals dazu, dass Everalbum einen kleinen Absatz in seine Nutzungsbedingungen anfügte, mit dem es sich selbst die Nutzung der Fotos aus 95 Ländern gestatten wollte. Das war lange nachdem das Unternehmen damit begonnen hatte, Datenpakete von mutmaßlich Milliarden von Fotos für sein Machine Learning zu nutzen. Ziel war es, den Gesichtserkennungsdienst, der Fotos treffsicher mit gesuchten Personen abgleichen, aber auch akkurat das Geschlecht, die Ethnie, das Alter und den Gemütszustand von Unbekannten feststellen sollte, letztlich an Polizeibehörden, Privatunternehmen und das Militär zu verkaufen.
Tatsächlich schloss Everalbum 2019 mehrere Verträge mit Unternehmen über die Nutzung seiner Algorithmen und KI-Modelle. Darunter waren die US Air Force und das Robotikunternemen SoftBank Robotics, das etwa den Roboter Pepper entwickelt hat. Den Foto-Dienst Ever gibt es zwar in seiner damaligen Form nicht mehr. Aber das dahinterstehende Unternehmen schon. Das firmiert mittlerweile als Paravision und ist nun ausschließlich in KI-Gesichts- und Verhaltenserkennungssystemen unterwegs: aufbauend auf den Algorithmen und Modellen, die mit den Kundenbildern geschaffen wurden. Wie allerdings die Federal Trade Commission – kurz FTC – nun feststellte, geht das so nicht.
Eine wegweisende Entscheidung?
Die Behörde FTC untersuchte den Fall und stellte erhebliche Verstöße gegen Datenschutzbestimmungen und eine „illegale Täuschung“ der Kunden fest. Davon dürfe ein Unternehmen nicht profitieren, so die FTC. Deshalb ordnete die Behörde jetzt an, dass die „Früchte der Täuschung“ vernichtet werden müssen. Konkret heißt das: Sämtliche aus dem Foto-Dienst Ever verbleibenden Bilder und Daten müssen gelöscht werden. Das gleiche gilt für die Algorithmen und KI-Modelle, die mit eben jenen Fotos geschaffen und ausgebaut wurden. Es sei unanständig und falsch, dass ein Unternehmen von den durch Missbrauch entstanden Ergebnissen profitiert. Die Geschichtserkennungstechnologie, die SoftBank Robotics und die US Air Force nutzen wollten, darf es also nicht mehr geben.
Werde jetzt Mitglied von 1E9!
Als Mitglied unterstützt Du unabhängigen, zukunftsgerichteten Tech-Journalismus, der für und mit einer Community aus Idealisten, Gründerinnen, Nerds, Wissenschaftlerinnen und Kreativen entsteht. Außerdem erhältst Du vollen Zugang zur 1E9-Community, exklusive Newsletter und kannst bei 1E9-Events dabei sein. Schon ab 2,50 Euro im Monat!
Jetzt Mitglied werden!
„Das ist eine wichtige Kurskorrektur“, schreibt Rohit Chopra von der FTC in einer Pressemitteilung. Denn lange Zeit wäre die Datenschutzverletzung und das Ergebnis dieser als getrennt angesehen worden. Eine Strafe muss Everalbum beziehungsweise Paravision aufgrund einer Teileinigung mit der FTC nicht zahlen. Jedoch will die Behörde „weitere Schritte unternehmen“, um Strafen und finanzielle Entschädigungen bei derartigen Datenschutzverletzungen in Zukunft zu verschärfen. Wie Chopra schreibt, scheint es mittlerweile auch unter den Wettbewerbswächtern „keinen nennenswerten Streit mehr darüber zu geben, dass diese Praktiken illegal sind“.
Die Entscheidung und der Standpunk der FTC sind bemerkenswert und laut Technologie- und Wirtschaftsexperten durchaus bedeutend. Denn beides könnte schnell auch andere Start-ups wie ClearView AI betreffen. Ebenso aber auch große Tech-Unternehmen wie Google, Facebook, Microsoft und Apple – und dadurch den sorglosen Umgang mit Kundendaten deutlich gefährlicher und weit weniger gewinnbringend machen. Wie unter anderem Ashkan Soltani, ehemaliger Berater von Barack Obama schreibt, könne bei einem Verstoß bei Facebook etwa schnell das Maschinen-Lern-Modell das hinter dem Newsfeed-Algorithmus steckt oder bei Google das Herz der Suchmaschine in Gefahr geraten.
Teaser-Bild: Getty Images