Diskriminierung durch KI Klassifizierung und gelernte Vorurteile: Warum Maschinen nicht neutral sind

Die Inhalte dieser Seite sind entstanden in Zusammenarbeit mit: 
Education Innovation Lab

Künstliche Intelligenz ist nicht frei von Vorurteilen

Künstliche Intelligenz (KI) bedeutet aktuell, dass Maschinen auf Basis von Daten selbständig lernen. Da Daten über Menschen und insbesondere deren menschliche Interpretationsmuster leider an vielen Stellen Rassismus und Diskriminierung beinhalten, lernen Maschinen dort diese Interpretationsmuster mit.

„Unsere intelligenten Maschinen von morgen sind eben genauso rassistisch oder sexistisch, wie es die Menschen schon heute sind.“[1]

Es gibt zahlreiche Beispiele, wie Maschinelles Lernen Diskriminierungsstrukturen reproduziert und marginalisierte Gruppen weiter benachteiligt. Einige davon sollen im Rahmen des Workshops zu diesem Themenbaustein analysiert werden – jeweils mit der Fragestellung, wie dieser Aspekt mit KI aussehen könnte.

Warum wird strukturelle Diskriminierung durch Maschinelles Lernen reproduziert?

Um zu erkennen, warum und in welcher Form strukturelle Diskriminierung durch Maschinelles Lernen reproduziert wird, ist zunächst eine intensivere Auseinandersetzung mit verschiedenen Formen der Diskriminierung nötig. Hierzu soll im Rahmen des Workshops in diesem Themenbaustein das Konzept der Intersektionalität für die Jugendlichen erfahrbar gemacht werden, indem sie sich die vielschichtigen Merkmale ihrer Persönlichkeit bewusst machen und die sich daraus ergebende gesellschaftliche Positionierung sowie systemische Privilegien und Benachteiligungen reflektieren.

Exkurs Intersektionalität

Diskriminierung bezeichnet eine Benachteiligung oder Herabwürdigung einer Person oder einer Personengruppe aufgrund einer Diskriminierungskategorie, das heißt anhand bestimmter Wertvorstellungen oder aufgrund von bestimmten (unreflektierten oder unbewussten) Haltungen wie Vorurteilen. Oft wird die Diskriminierungserfahrung, die eine Person erleidet, nur auf ein bestimmtes Identitätsmerkmal bezogen. Doch viele Menschen erfahren Diskriminierung nicht nur in Bezug auf eine einzige Identitätskategorie (zum Beispiel Geschlecht), sondern erleben eine mehrdimensionale Diskriminierung. Beispielsweise kann eine Schwarze Frau Rassismus und Sexismus gleichzeitig erfahren. Ein intersektionaler Ansatz beachtet, wie das Zusammenspiel verschiedener Identitätskategorien zum Tragen kommen kann, und hilft so, Diskriminierungsstrukturen in der Gesellschaft kritisch zu analysieren.

Wissenschaftlich betrachtet ist Intersektionalität ein soziologisches Konzept, das erlaubt, Identität als vielschichtiges Konstrukt zu verstehen. [...] Grundlegend für dieses Verständnis ist, dass Diskriminierung Differenzen schafft (zum Beispiel Schwarz/weiß, männlich/weiblich) – und nicht umgekehrt. Diese Unterschiede werden als „Differenzlinien“ bezeichnet. Im Prozess der Diskriminierung kann es zu einer Überschneidung dieser Differenzlinien kommen und damit zur Schaffung intersektioneller Identitäten, etwa als Schwarze Frau. Dieser Ansatz hilft, eine vermeintliche Diskriminierungshierarchie und damit die unterschiedliche Gewichtung verschiedener Formen von Diskriminierung kritisch zu analysieren.[2]

Weitere Quellen zur Auseinandersetzung mit diesem Thema finden Sie im Service-Bereich.

Algorithmen arbeiten mit Klassifizierungen

Ein zentrales Merkmal von KI ist die Klassifizierung, das heißt die Zuordnung von einzelnen Daten zu bestimmten Gruppen. Diese Klassifizierungen können sinnvoll eingesetzt werden, beispielsweise durch die Verknüpfung einer Vielzahl von Vitaldaten, welche die frühzeitige Erkennung von Krankheiten ermöglichen. Klassifikationen sind jedoch insbesondere dann problematisch, wenn sie auf sogenannte Human-Daten angewendet werden, also Daten, die im Zusammenhang mit einer bestimmten Person stehen. Diese Daten spiegeln unsere aktuelle Realität wider, die geprägt ist von diskriminierenden Machtstrukturen, Vorurteilen und Ungerechtigkeit. Auf Basis dieser Daten reproduzieren die Systeme fast zwangsläufig gesellschaftliche Diskriminierungsstrukturen, Rassismus, Sexismus, Klassismus, Ableismus, Vorurteile und Machtstrukturen.

Wenn ein Algorithmus und eine darauf basierende Technologie also nur so objektiv sind wie die Wissenschaftler_innen, die sie mitentwickelt haben, können sich für diskriminierte Gruppen von Individuen durch die Verwendung der Technologien leicht gesellschaftliche Türen öffnen oder schließen. Die folgenden Beispiele sollen die diskriminierende Verwendung von KI veranschaulichen:

Diskriminierende KI und Arbeitsmarkt

Bei der Auswahl von Bewerber_innen greifen manche Unternehmen auf algorithmische Entscheidungssysteme, die Bewerbungsprofile nach bestimmten Qualifikationen und Schlagworten durchsuchen und somit eine Vorauswahl treffen. Der Auswahlprozess soll dadurch effizienter entlang klar definierter Kriterien verlaufen. Subjektiv empfundene Meinungen der Personalmanager_innen haben dadurch keinen Einfluss – könnte man meinen. Die Daten jedoch, die als Grundlage für den Auswahlprozess bereitgestellt werden, sind in der Regel verzerrt. Sind beispielsweise Frauen im Unternehmen bereits in der Vergangenheit benachteiligt worden, spiegelt sich das im Datensatz wider. Ein Algorithmus verknüpft anhand der Daten das Geschlecht mit einer niedrigeren Erfolgswahrscheinlichkeit und trägt das Vorurteil somit weiter.[3] Dieser Fall wurde unter anderem bei dem Unternehmen Amazon bekannt, welches anhand verzerrter Daten jahrelang Männer für den technologischen Bereich bei der Stellenvergabe bevorzugte.[4]

Diskriminierende KI und Gesichtserkennung

Technologien zur Gesichtserkennung (englisch: Facial Recognition) finden heutzutage breite Anwendung. Gesichtserkennung ist nicht nur als personalisierendes Feature in Smartphones oder zur Erkennung von Freund_innen auf Social Media präsent, sondern wird auch zur Strafverfolgung angewandt. Gleichzeitig ist sie ein gutes Beispiel für ein Tool, mit dem große Gefahren verbunden sind – und zwar vor allem wieder in Bezug auf marginalisierte Gesellschaftsgruppen. Gesichtserkennungstechnologien sind unter anderem erwiesenermaßen weniger erfolgreich bei Schwarzen und weiblichen Menschen, da in den Datenbanken, mit denen die Systeme trainiert wurden, überwiegend Bilder von Männern mit heller Hautfarbe enthalten waren und deshalb bei der Gesichtserkennung anderer Gruppen schlechter funktionieren. Dies kann und wird im schlimmsten Fall dazu führen, dass Benachteiligte fälschlicherweise für Straftaten verurteilt werden, da der Algorithmus bei ihnen mit größerer Wahrscheinlichkeit falsch liegt.[5]

 

Wie Maschinen diskriminieren. Facial Recognition & die Matrix of Domination. Ein Video von Nushin Yazdani und José Rojas, online verfügbar auf Vimeo. Lizenz: CC BY-NC-SA 2.0.

 

KI und Strafanfälligkeit

In den USA verwenden Gerichte Algorithmen dazu, die Rückfallwahrscheinlichkeit von Angeklagten hinsichtlich erneuter Straftaten einzuschätzen. Richter_innen lassen diese Einschätzungen dann in ihr Urteil einfließen. Dafür werden historische Daten wie Kriminalitätsstatistiken verwendet. Bestimmte Bevölkerungsgruppen, die in der Vergangenheit aufgrund von diskriminierenden Strukturen überproportional überwacht oder verurteilt wurden, erhalten schlechtere Prognosen. Daher trifft die Diskriminierung oft Menschen aus bestimmten geografischen Gebieten der immer noch stark segregierten USA, BIPoC oder finanziell schwächere Bürger_innen, auch wenn das im Individualfall natürlich keine Rolle spielen dürfte. Bestehende Vorurteile und Diskriminierung werden dadurch nur noch weiter verstärkt.[6]

KI: Eine Frage der Ethik

Generell gilt: Je komplexer die Entscheidungen sind, die an KI-gesteuerte Systeme delegiert werden, umso schwieriger werden auch die damit zusammenhängenden ethischen Fragestellungen. In Bezug auf selbstfahrende Autos beispielsweise muss früher oder später eine Antwort darauf gefunden werden, ob in einer unvermeidlichen Unfallsituation mögliche Opfer anhand persönlicher Merkmale wie Alter oder Geschlecht bewertet werden dürfen. Die Machine-Learning-Systeme treffen hierdurch, wie auch im Bereich autonomer Waffensysteme, im Zweifelsfall also Entscheidungen über Leben oder Tod. Es liegt auf der Hand, dass hier ein umfangreicher gesellschaftlicher Diskurs nötig ist. Künstliche Intelligenz, Algorithmen, Big Data und alles, was dazugehört, prägen unsere Zeit wie kaum eine andere Entwicklung. Einige Forscher_innen und Wissenschaftler_innen sprechen daher von einer vierten industriellen Revolution, „die unsere Art zu leben, zu arbeiten und miteinander umzugehen grundlegend verändern wird“[7].

Ohne Kenntnisse über die Mechanismen hinter der Verwendung von algorithmischen Entscheidungssystemen wird es nicht möglich sein, diese gesellschaftlichen Prozesse zu verstehen und kritisch bewerten zu können. Hierzu sollen junge Menschen auch mithilfe des Workshopkonzepts befähigt werden.

Workshop-Konzept

Ziel des Workshops ist es, dafür zu sensibilisieren, dass Maschinelles Lernen und algorithmische Entscheidungssysteme Diskriminierungsstrukturen reproduzieren und marginalisierte Gruppen weiter benachteiligen können. Der Workshop wird eingeleitet durch eine Auseinandersetzung mit dem Themenbereich Diskriminierung und Intersektionalität. Die Teilnehmenden führen eine Übung durch, mit deren Hilfe sie sich die unterschiedlichen Merkmale ihrer Persönlichkeit sowie deren Vielschichtigkeit bewusst machen und daraus resultierende systemische Privilegien und Benachteiligungen reflektieren. Im Kern des Workshops steht dann eine Auseinandersetzung mit verschiedenen Alltagsaspekten (Lernen, Arbeitssuche, Gesundheit, Gesichtserkennung), bei denen sowohl algorithmische Entscheidungssysteme als auch Diskriminierungsstrukturen bereits jetzt eine Rolle spielen. Als Ergebnis des Workshops haben sich die Teilnehmenden mit einem dieser Praxisbereiche kritisch auseinandergesetzt und können daran ableiten, wie Gesellschaft und KI zusammenhängen und warum sich strukturelle Diskriminierung häufig auch in algorithmischen Entscheidungssystemen widerspiegelt.

Durchführungshinweise

Dauer:
2,5–3,5 Stunden, je nach gewählten Varianten
Gruppengröße:
5–15 Personen
Altersgruppen:
Ab ca. 16 Jahren
Vorbereitung:
Zur ausführlichen Vorbereitung bedarf es ca. 2–3 Stunden Einarbeitung in den Ablauf, die Materialien und die Tools sowie die Hinweise zur diskriminierungssensiblen Workshopleitung. Die Einarbeitungszeit ins Thema hängt vom Vorwissen der Moderation ab.
Varianten:
Präsenz-Workshop: Diese Variante ist vermutlich die am häufigsten gewählte. Hier kommen Moderation und Teilnehmende in einem Raum zusammen und arbeiten in einem klassischen Workshopformat, welches jedoch durchaus von digitalen Tools gestützt werden kann.
Digitaler Workshop: Es ist auch eine ortsunabhängige, rein digitale Durchführung mittels Webinar- oder Webkonferenz-Software möglich. Hinweise zur digitalen Umsetzung, den damit verbundenen Herausforderungen und geeigneten Tools enthält der Service-Bereich. Der Ablaufplan orientiert sich im Folgenden an einer Durchführung als Präsenz-Workshop.

Ausstattung & Material

Der Workshop kann je nach Interesse, Vorkenntnis der Moderation und der Teilnehmenden sowie Zielsetzung eher klassisch in analoger Form oder digital mit Online-Tools (zum Beispiel für Abstimmungen, kollaboratives Arbeiten, Wissensaustausch und Dokumentation) durchgeführt werden. Dazu gibt es innerhalb des Ablaufplans jeweils Hinweise unter dem Stichwort digitale Variante. Weiterführende Informationen zu den Tools finden Sie im Service-Bereich.

Empfohlen wird ein Mix aus analogen und digitalen Methoden, sodass methodische Abwechslung entsteht. Eine digitale Dokumentation der Arbeitsergebnisse ist insbesondere dann besonders hilfreich, wenn im Nachgang dieselben oder andere Teilnehmer_innen noch weiter an den Ergebnissen arbeiten sollen oder eine Veröffentlichung der Ergebnisse geplant ist.

Analoge Ausstattung

  • Flipchart/Pinnwand
  • Stifte
  • Klebezettel
  • Buntstifte (zum Ausmalen)
  • Optional: Kreativmaterialien (z. B. Farben, Scheren, Klebstoff, Karton, Magazine)

Digitale Ausstattung

  • Internetzugang
  • Beamer/digitales Anzeigemedium
  • Lautsprecher
  • Digitale Endgeräte
  • Optional: Technik für Medienproduktion (z. B. Kamera, Mikrofon, Stativ)

Online-Tools