NPP 178: Wenn Algorithmen unabsichtlich diskriminieren
Du ja, du nein. Wenn Maschinen versehentlich diskriminieren, müssen Menschen das erkennen und eingreifen. Gemeinfrei-ähnlich freigegeben durch unsplash.com Markus Spiske
Früher war die Sache einfach: Da gab es Versicherungen oder Chefs oder Banken, die gegen Frauen, Schwarze Menschen oder Schwule diskriminierten, weil diese eben Frauen, Schwarz oder schwul waren. Gegen solche offensichtliche Diskriminierung gibt es heute Gesetze – in Deutschland wie in den USA. Ein Verdienst der Civil-Rights- und Frauenbewegungen, die dafür hart gekämpft haben.
Aber was ist mit all den unabsichtlichen Fällen von Diskriminierung, die auftreten können, wenn Maschinen Entscheidungen über Menschen treffen? Wenn etwa der Algorithmus einer Versicherung beim Durchkämmen von Tausenden Datenpunkten als Muster entdeckt, dass Antragsteller in einer bestimmten Facebook-Gruppe wahrscheinlicher Krebs bekommen werden? Oder ein Bewerbungssystem Frauen systematisch aussortiert, weil diese in der Vergangenheit schon schlechte Chancen im Unternehmen hatten? „Proxy Discrimination“ nennt sich dieses Problem: Stellvertretend für eine unbekannte Variable – Geschlecht, Religion oder genetische Veranlagung – sucht sich das System einen anderen Indikator, um Wahrscheinlichkeiten zu berechnen – einen Proxy eben. Die Menschen, die diese Systeme einsetzten, bemerken das oft nicht mal.
Daniel Schwarcz unterrichtet Jura an der University of Minneapolis und beschäftigt sich mit diesen Fragen. Er glaubt: Unsere jetzigen Gesetze gegen Diskriminierung reichen für eine Gegenwart der Algorithmen und Big Data nicht mehr aus. Sie wurden für eine Vergangenheit gemacht, in der es diese Probleme nicht gab. Aber wie müsste ein zeitgemäßes Update für Antidiskriminierung aussehen? Darüber reden wir mit Daniel Schwarcz – per Fernschalte nach Minneapolis.
NPP 178: Wenn Algorithmen unabsichtlich diskriminieren
https://netzpolitik.org/wp-upload/2019/07/NPP178.mp3
NPP ist der Podcast von netzpolitik.org. Hier ist der Link zum Download von NPP 178 als mp3-Datei. Ihr könnt den Podcast auch als OGG-Datei herunterladen oder bei Spotify abonnieren. Wie immer freuen wir uns über Kommentare, Wünsche und Verbesserungsvorschläge. Und wir freuen uns über Bewertungen auf den üblichen Podcast-Portalen, denn mit vielen guten Bewertungen steigt die Sichtbarkeit.
Shownotes:
- Anya Prince, Daniel Schwarcz: Proxy Discrimination in the Age of Artificial Intelligence and Big Data (Das Paper als PDF)
- Amazon scraps secret AI recruiting tool that showed bias against women (Reuters)
- Amazon’s sexist hiring algorithm could still be better than a human (Phys.org)
- Das Allgemeine Gleichbehandlungsgesetz (AGG) in Deutschland, das die „Benachteiligungen aus Gründen der Rasse (sic!) oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität“ verhindern soll.
- Senators are asking whether artificial intelligence could violate US civil rights laws (Quartz)
- Human Rights in the Age of Artificial Intelligence (PDF von Acces Now)
- Rede des Ex-Justizministers Heiko Maas vom 3. Juli 2017, in der er ein „digitales Antidiskriminierungsgesetz“ vorschlägt
- Redlining was banned 50 years ago. It’s still hurting minorities today. (Washington Post)
- Kritische Reaktionen von Forscher:innen und Aktivisten auf diesem Vorschlag (Zeit Online)
Hilf mit! Mit Deiner finanziellen Hilfe unterstützt Du unabhängigen Journalismus.