Algorithmen als Spiegel der Gesellschaft

Wie Machtstrukturen und Ungerechtigkeiten Eingang in automatisierte Entscheidungsprozesse finden: Ein Überblick und Lösungsansätze.

Dieser Artikel wurde für Tangram, die Zeitschrift der Eidgenössischen Kommission gegen Rassismus (EKR) verfasst.

Gesichtserkennung ist eine beeindruckende Technologie. Es ist faszinierend, wenn das Handy sich entsperrt, nur weil man es angelächelt hat. Die automatisch nach Personen sortierten Fotos wecken schöne Erinnerungen. Mit Gesichtserkennung kann der Zutritt zu Gebäuden auch ohne Schlüssel den dazu Befugten vorbehalten werden. Oder es können damit Personen erkannt werden, wenn sie sich an einem bestimmten Ort im öffentlichen Raum aufhalten.

Einige dieser Anwendungen sind nützlich oder unterhaltsam. Bei anderen beeinflussen Gesichtserkennungssysteme Entscheidungen, die weitreichende Konsequenzen haben können. Dies ist beispielsweise dann der Fall, wenn es nicht nur um den Abgleich eines Gesichts mit einem bereits vorhandenen Foto einer bestimmten Person geht, sondern wenn das System Individuen aus einer grossen Masse von Menschen erkennt und dabei auf eine Datenbank von gespeicherten Fotos von Gesichtern und den zugehörigen persönlichen Daten zurückgreift. Der Einsatz solcher Systeme im öffentlichen Raum eröffnet die Möglichkeit zur Massenüberwachung.

Besonders problematisch ist in diesem Kontext, wenn die Technologie nicht für alle Personen gleich gut funktioniert. Gerade bei der Gesichtserkennung ist das der Fall: Sie funktioniert am besten bei weissen Männern.

Warum ist das ein Problem? Damit können Personen beispielsweise rassistisch oder sexistisch diskriminiert werden. Wenn Systeme für dunkelhäutige Menschen schlechter funktionieren, werden diese häufiger irrtümlicherweise als Treffer identifiziert (sog. false positives). Gerade im Strafverfolgungskontext kann dies schwerwiegende Konsequenzen haben – zum Beispiel, wenn Gesichtserkennungssysteme bei Demonstrationen eingesetzt werden, wie dies im letzten Jahr bei den Black Lives Matters-Protesten in den USA der Fall war. Gesichtserkennung nimmt aber auch in Europa rasant zu. Damit sind wir alle davon betroffen.

Diskriminierungsmuster in Datenbanken

Wie kommt es dazu, dass weibliche oder dunkelhäutige Gesichter schlechter erkannt werden? Die Testdatenbanken, mit denen die Algorithmen hinter der Gesichtserkennung trainiert wurden, sind oft nicht repräsentativ, sondern beinhalten eine Verzerrung – in der Fachsprache einen «bias» –, sprich verhältnismässig zu viele Bilder von weissen Männern. Zudem werden sie zu einem grossen Teil von weissen Männern programmiert. Führungspositionen in Firmen, Verwaltung und Politik sind ebenfalls überproportional von weissen Männern besetzt.

Beim Testen und Trainieren von Algorithmen werden Daten aus der Vergangenheit verwendet. Damit werden bestehende und veraltete hegemoniale Macht- und Entscheidungsstrukturen, Werte, Normen und Vorurteile aus der Gesellschaft direkt in die Algorithmen übertragen. Diese bauen die Daten in ihre Prognose mit ein – und so auch die in diesen Daten (sprich: unserer Gesellschaft) existierenden Diskriminierungsmuster und «biases». Wurde früher eine bestimmte Gruppe von Menschen bevorteilt, so wird sich dies in der Prognose widerspiegeln. Das passiert sogar, wenn wir dies heute als Gesellschaft eigentlich nicht mehr gut finden. So kann sich zum Beispiel eine veraltete und mittlerweile als falsch anerkannte Ansicht wie «dunkelhäutige Menschen können mehr Schmerzen ertragen» in einem modernen Algorithmus verbergen, der feststellt, wie gravierend die Nierenerkrankung von einzelnen Menschen ist. Damit werden veraltete Vorurteile unabsichtlich weiter am Leben erhalten. Dieses Zurückgreifen auf Vergangenheitsdaten führt dazu, dass das Überwinden dieser Diskriminierungen erschwert wird – der moralische Fortschritt wird so behindert.

Gleichzeitig könnte das genaue Beobachten algorithmischer Entscheidungsfindung auch dazu führen, dass eine versteckte Diskriminierung aufgedeckt wird: Die veraltete Einschätzung kommt nicht nur im Algorithmus zum Zuge, sondern auch bei nicht-digitalen Verfahren. Hier bestünde die Chance, sich dadurch gewisser Denk- oder Diskriminierungsmuster in der analogen Welt überhaupt erst bewusst zu werden.

Auch in anderen Bereichen werden zunehmend Algorithmen eingesetzt, beispielsweise bei der Personalrekrutierung oder der Beurteilung von Mitarbeiterinnen und Mitarbeitern. Ein prominentes Beispiel ist auch ihr Einsatz zur Kuratierung dessen, was wir in unseren Social Media-Timelines sehen (siehe Kasten). In der Schweiz läuft ein Pilotprojekt, in dem Flüchtlinge mittels eines algorithmenbasierten Systems auf Kantone verteilt werden, um ihre Arbeitsmarkteingliederung zu optimieren. Weitere Beispiele finden sich im Bereich der Mobilität, der Medizin oder bei der Vergabe von Sozialleistungen. Die Gesichtserkennung soll hier daher als Beispiel für diese verschiedenen Einsatzbereiche verstanden werden. Insbesondere bei Entscheidungen, die auf das Leben von Individuen einen gravierenden Einfluss haben, dürfen die problematischen Effekte, die mit algorithmenbasierter Entscheidungsfindung einhergehen können, nicht ignoriert werden.

Soziotechnologische Systeme

Was könnte eine mögliche Lösung sein? Viele werden sagen, es hilft doch, wenn wir darauf achten, dass die Teams von Software-Entwicklerinnen und -entwickler so divers wie möglich sind. Das ist ein wichtiger Ansatz, der aber leider allein nicht zum Ziel führt. Die einzelnen Personen in diesen Teams bringen immer Vorurteile und Meinungen mit, die Testdaten, auf die sie zurückgreifen, bilden soziale Denkmuster ab, und der Einsatz algorithmenbasierter Tools erfolgt vor einem bestehenden gesellschaftlichen Hintergrund: Es handelt sich hierbei um eigentliche soziotechnologische Systeme, deren Kontext wir immer mitberücksichtigen müssen.

Andere werden sagen: Der Datenschutz löst das doch alles. Leider ist auch das nicht der Fall. Einerseits steht der Datenschutz paradoxerweise in gewissen Fällen sogar der Verhinderung von Diskriminierung im Wege: Beim Testen von Algorithmen kann nur auf Eigenschaften geachtet werden, über die Daten vorliegen. Fehlen Daten, wie zum Beispiel über die sexuelle Orientierung von Personen oder über ihre Hautfarbe, kann auch nicht überprüft werden, ob jemand gerade deswegen diskriminiert wird. Gleichzeitig kann dies nicht bedeuten, dass Datenschutznormen gelockert werden sollten. Der in solchen Fällen schwierige Trade-off zwischen Datenschutz- und Diskriminierungsschutz ruft hier nach neuen Lösungen.

Andererseits bezieht sich Datenschutz immer nur auf Personendaten. Aber: Selbst, wenn keine Personendaten bekannt sind, können mit statistischen Methoden Rückschlüsse auf beteiligte Personen gezogen werden. Es braucht dazu eine grosse Menge von Daten, diese sind aber oft ausreichend vorhanden. Beispielsweise wenden verschiedene Kantonspolizeien in der Schweiz algorithmenbasierte «Predictive Policing» Systeme an, die anhand von Daten über vergangene Verbrechen Prognosen über zukünftige Gesetzesverstösse erstellen – zum Beispiel darüber, in welchen Nachbarschaften zukünftig Wohnungseinbrüche vorkommen. Obwohl keine Personendaten mitspielen, kann das System in mehrfacher Hinsicht diskriminierend wirken: Es berücksichtigt nicht, dass die Polizei als Institution in der Vergangenheit dazu tendiert hat, beispielsweise Minderheiten verstärkt zu kontrollieren – was dann als Datengrundlage in die Prognose miteinfliesst. Wenn das System dann voraussagt, dass in einer bestimmten Nachbarschaft – zum Beispiel da, wo tendenziell viele Minderheiten wohnen – mehr Verbrechen passieren werden, wird die Polizei in dieser Gegend auch mehr Kontrollen durchführen. Dies führt dann wiederum zu einer sich selbst verstärkenden Diskriminierungsschleife: Durch die verstärkten Kontrollen wird die Polizei in diesen Gegenden gewiss auch mehr Verbrechen entdecken.

Algorithmen ethisch anwenden

Ein weiterer Lösungsvorschlag ist, die technologische Entwicklung voranzutreiben: Wenn der «bias» in Gesichtserkennungssystemen auf technologischer Ebene gelöst werden kann und die Systeme für alle Menschen vollständig akkurat funktionieren, ist das Diskriminierungsproblem doch gelöst. Allerdings: So einfach ist es nicht. Auch dann nämlich müssen wir uns fragen, ob wir den Einsatz solcher Technologien im öffentlichen Raum, der eine Massenüberwachung ermöglicht, als demokratische Gesellschaft überhaupt wollen können. Er kann nämlich dazu führen, dass Menschen davon absehen, ihre Meinung zu sagen oder sich an eine Demonstration zu begeben. Diese abschreckende Wirkung auf das Wahrnehmen von Grundrechten, die eine unverhandelbare Vorbedingung für Demokratie sind, können wir nicht tolerieren.

Wiederum andere werden also sagen: Ja, dann muss man einfach dafür sorgen, dass Algorithmen ethisch sind. Aber: Algorithmen können gar nicht ethisch sein oder ethisch handeln. Sie sind nämlich keine Personen. Ethisch handeln kann nur, wer auch bewusst handeln kann – das können Algorithmen aber nicht. Sie sind aus demselben Grund auch nicht intelligent, auch wenn sie oft als «künstliche Intelligenz» bezeichnet werden. Und: Algorithmen können keine Verantwortung für ihre Entscheidungen oder die daraus resultierenden Handlungen übernehmen. Das können nur Personen. Die Begriffe sind zudem unscharf und unklar in ihrer Definition, auch Expertinnen und Experten konnten sich bisher auf keine einheitliche Verwendung festlegen. Wir verwenden daher gerne den Ausdruck «automatisierte Entscheidungssysteme» (ADMS). Das klingt zwar kompliziert, dafür ist sofort klar, dass es sich dabei nicht um eine Intelligenz im menschlichen Sinne handelt, sondern um die Automatisierung eines Prozesses, der Auswirkungen auf Menschen oder menschliche Entscheidungen haben kann. Es geht nicht um eine bestimmte Technologie, sondern um den breiteren gesellschaftlichen Kontext, in dem diese eingesetzt wird.

Was wir jedoch können: Algorithmen ethisch anwenden. Und das ist natürlich wünschenswert. Was ist eine ethische Anwendung von ADMS? Dabei werden die fundamentalen ethischen Prinzipien wie Menschenwürde, Gerechtigkeit und Autonomie beachtet. Diese sind in den Grundrechten verankert. Unklar ist aber, wie diese Prinzipien zu operationalisieren sind. Es gibt Versuche, dies mit einem Ethik-Score oder einem Ethik-Label zu machen. Bisher hat sich aber noch nichts breit durchgesetzt. Zudem sind Scores leider oft nicht objektiv und können manipuliert werden. Meistens handelt es sich dabei um Momentaufnahmen, und es werden keine Überlegungen aus der Entwicklung des Algorithmus festgehalten. Falls es im laufenden Betrieb Anpassungen gibt, erfolgt beispielsweise keine neue Beurteilung. Hier wäre ein anderer Ansatz wünschenswert, der Probleme identifiziert, begleitet und dokumentiert, und zwar in der Planung, der Testphase, bei der Implementierung und im laufenden Betrieb.

Was alle Beispiele gemeinsam haben: Es gibt leider keine breite faktenbasierte Debatte zum Thema. Niemand kann abschätzen, wie gross der Einfluss von ADM-Systemen auf der Mikro- und Makro-Ebene tatsächlich ist. Das ist alles sehr intransparent – und die Debatte ist entsprechend auch noch kaum in der breiten öffentlichen Diskussion angekommen.

Breiter Diskurs gefordert

Gleichzeitig gibt es jedoch auch Lösungsvorschläge, die zielführend sind und dafür sorgen können, dass ADMS ethisch angewendet werden. Ein erster Schritt ist die Herstellung von Transparenz. Diese ist jedoch nicht das Ziel, sondern Mittel zum Zweck. Transparenz braucht es auf ganz unterschiedlichen Ebenen. Beispielsweise sollte die öffentliche Verwaltung alle von ihr eingesetzten ADMS in einem öffentlichen Register aufführen, das laienverständliche Angaben zum Zweck, dem Modell und den beteiligten Akteuren enthält. Bei privaten Social Media-Plattformen (siehe Kasten), auf denen heute ein wesentlicher Teil des öffentlichen Diskurses stattfindet, muss transparent gemacht werden, wie diese ihre Inhalte kuratieren oder die geschaltete Werbung gezielt auf Personen ausrichten. Um Licht in diese Blackbox zu bringen, ist ein Zugang zu den Daten und Algorithmen dieser Plattformen für Expertinnen und Experten, die Forschung im öffentlichen Interesse betreiben, notwendig. Gerade wenn es um die Verbreitung von Verschwörungstheorien und Falschinformationen geht, braucht es in erster Linie Forschung darüber, wie private Plattformen den öffentlichen Diskurs beeinflussen und inwiefern sie zur Verbreitung solcher Inhalte beitragen. Nur mit solchen und weiteren Transparenzvorgaben ist eine faktenbasierte, öffentliche und demokratische Debatte zum Einsatz und den Auswirkungen von ADMS möglich. Und ohne eine solche Debatte ist auch keine evidenzbasierte demokratische Kontrolle über den Einsatz von ADMS möglich.

In allen Bereichen muss zudem die Verantwortung klar Personen zugeschrieben und die Rechenschaftspflicht sichergestellt werden können. Die Ausrede, dass es halt «die Maschine war», dürfen wir nicht gelten lassen – insbesondere nicht, wenn es um wesentliche Pfeiler unseres gesellschaftlichen Zusammenlebens und um den Schutz grundlegender Rechte von Individuen geht.

Der Einsatz von ADMS kann zweifellos Nutzen mit sich bringen. Es muss jedoch gewährleistet werden, dass dies wirklich der Fall ist – dass er also tatsächlich individuelle Autonomie und Freiheit, Teilhabe und Gemeinwohl erhöht, und diese nicht reduziert; dass er den vielen nützt, und nicht nur den wenigen. Im Moment beobachten wir, dass ein Grossteil der eingesetzten Systeme diese Anforderungen nicht erfüllt. Deshalb braucht es jetzt einen breiten Diskurs an der Schnittstelle von Gesellschaft, Politik und Wissenschaft, um gemeinsam Lösungsansätze zu entwickeln für einen ethischen, transparenten und verantwortungsvollen Einsatz von ADMS.


Algorithmen und soziale Medien

Wer auf Plattformen sozialer Medien wann was von wem zu sehen oder lesen bekommt, wird durch Algorithmen gesteuert. Diese sind intransparent: Niemand ausserhalb der Anbieter-Plattformen weiss, wie sie genau funktionieren, nach welchen Kriterien die sichtbaren Beiträge und deren Reihenfolge oder Priorisierung ausgewählt werden. Einerseits sind dazu sicher die persönlichen Vorlieben der User entscheidend. Was sich jedoch in Untersuchungen gezeigt hat: Dies sind nicht die einzigen Kriterien. So bevorzugt beispielsweise der Instagram-Algorithmus Bilder mit nackter Haut von Frauen gegenüber anderen und zeigt diese entsprechend häufiger in Timelines an – und dieser Effekt ist nicht einzig darauf zurückzuführen, dass Bilder mit Frauen in Bikinis angeklickt oder mit einem «Gefällt mir» versehen werden. Für Instagram gilt also: «Undress or Fail».

Es liegt auf der Hand, dass durch Algorithmen auch Verschwörungstheorien, Hassreden oder Falschinformationen verbreitet werden können. So zeigte sich im Falle von YouTube, dass der Algorithmus nicht-englischsprachigen Usern häufig Inhalte empfiehlt, die gar gegen eigene Nutzungsbedingungen der Plattform verstossen – darunter Fake News. Allerdings muss man sich im Klaren sein, dass die Algorithmen der Social Media-Plattformen nicht alleinige Treiber von Verschwörungstheorien sind: Die analogen Bereiche der Gesellschaft dürfen bei der Diskussion nicht aus dem Blick geraten. Der Ursprung von Falschinformationen ist nicht ein Algorithmus, sondern liegt beim Menschen. Die privaten Plattformen, auf denen heute ein wesentlicher Teil des öffentlichen Diskurses stattfindet, tragen zweifellos wesentlich zur Verbreitung solcher Verschwörungstheorien bei. Gleichzeitig soll es nicht Aufgabe der privaten Plattformen sein, zu entscheiden, welche Inhalte in der öffentlichen Debatte geäussert werden – solange diese nicht illegal sind. Was aber für die öffentliche Sphäre zentral sein muss, ist, ein Verständnis davon zu entwickeln, wie Plattformalgorithmen funktionieren und wie sie die Verbreitung von – unter anderem – Falschinformationen steuern.


Links:

New York Times: Wrongfully Accused by an Algorithm
https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html

Buzz Feed News: The DEA Has Been Given Permission To Investigate People Protesting George Floyd’s Death
https://www.buzzfeednews.com/article/jasonleopold/george-floyd-police-brutality-protests-government; https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/.

AlgorithmWatch: Automating Society Report
https://automatingsociety.algorithmwatch.org

AlgorithmWatch Schweiz: Minuspunkte für Hautfarbe
https://algorithmwatch.ch/de/racial-health-bias/

Immigration Policy Lab: Switzerland Launches Program to Test IPL Algorithm for Refugee Integration
https://immigrationlab.org/2018/05/26/switzerland-launches-program-test-ai-refugee-integration/

avenir suisse: Ein datengesteuerter Ansatz zur Verbesserung der Flüchtlingsintegration
https://www.avenir-suisse.ch/video/a-data-driven-approach-to-improving-refugee-integration-outcomes/

AlgorithmWatch: Instagram-Algorithmus: Wer gesehen werden will, muss Haut zeigen
https://algorithmwatch.org/de/haut-zeigen-auf-instagram/

Center for Countering Digital Hate: Malgorithm. How Instagram’s Algorithm Publishes Misinformation and Hate to Millions During a Pandemic
https://252f2edd-1c8b-49f5-9bb2-cb57bb47e4ba.filesusr.com/ugd/f4d9b9_89ed644926aa4477a442b55afbeac00e.pdf

Mozilla: YouTube Regrets
https://assets.mofoprod.net/network/documents/Mozilla_YouTube_Regrets_Report.pdf

Monika Simmler, Simone Brunner& Kuno Schedler: Smart Criminal Justice, https://www.alexandria.unisg.ch/261666/1/Simmler%20et%20al._Smart%20Criminal%20Justice_Forschungsbericht%20vom%2010.12.2020.pdf.

AlgorithmWatch Schweiz: Automated Decision-Making Systems in the Public Sector – An Impact Assessment Tool for Public Authorities
https://algorithmwatch.ch/en/adms-impact-assessment-public-sector-algorithmwatch/

Dr. Anna Mätzener

Leiterin AlgorithmWatch Schweiz

Foto: David Bächtold
Anna Mätzener ist Leiterin von AlgorithmWatch Schweiz. Sie ist promovierte Mathematikerin mit den Nebenfächern Philosophie und italienische Sprachwissenschaften und hat an der Universität Zürich studiert. Vor ihrer Tätigkeit bei AlgorithmWatch Schweiz war sie Programmplanerin für Mathematik und Wissenschaftsgeschichte in einem internationalen Wissenschaftsverlag und zuletzt Mathematik-Lehrerin an einem Gymnasium in Zürich.

Dr. iur. des. Angela Müller

Senior Policy & Advocacy Managerin

Foto: David Bächtold
Angela Müller ist Senior Policy & Advocacy Manager bei AlgorithmWatch Schweiz und leitet das Policy & Advocacy Team bei AlgorithmWatch. Sie hat einen PhD (Dr.des.) in Rechtswissenschaft und einen M.A. in Political and Economic Philosophy. Ihre Dissertation hat sie zur extraterritorialen Anwendung von Menschenrechten, u.a. in Zusammenhang mit der Nutzung neuer Technologien, an der Universität Zürich verfasst, wo sie auch Mitglied der Digital Society Initiative ist. Sie war Visiting Researcher an der Columbia University, New York, sowie an der Hebrew University, Jerusalem. Zuvor war Angela Müller als Projektleiterin beim Think Tank foraus, als Projektmanagerin einer Innovationsplattform der Hochschule Luzern sowie in der UNO-Abteilung des Schweizerischen Aussendepartements EDA tätig. Sie engagiert sich zudem als Vize-Präsidentin der Gesellschaft Schweiz-UNO.