Algorithmische Diskriminierung melden!

Institutionen nutzen in allen möglichen Bereichen algorithmische Entscheidungssysteme: Steuererklärungen werden automatisch bearbeitet, Bewerbungen bewertet, Empfehlungen gegeben, Straftaten «vorausgesagt» oder die Wahrscheinlichkeit errechnet, nach der Geflüchtete in den Arbeitsmarkt integriert werden können. Solche Systeme sind aber keineswegs neutral. Ihre Funktionsweise wird von Menschen und ihren jeweiligen Vorurteilen und Interessen beeinflusst. Deshalb können die Systeme Diskriminierungsmuster reproduzieren, die in der Gesellschaft verbreitet sind, und auf diese Weise Menschen algorithmisch diskriminieren. Weitere Hintergrundinformationen findest du hier.

Berichte uns von dem Vorfall, wir werden der Sache nachgehen. Je häufiger solche Vorfälle öffentlich werden, desto mehr Menschen werden auf das Thema aufmerksam und desto eher verbreitet sich das Wissen, was gegen algorithmische Diskriminierung getan werden kann. Wenn ein öffentliches Bewusstsein dafür vorhanden ist, können wir uns besser für Schutzmassnahmen einsetzen und Druck auf die Politik ausüben, sich dem Problem anzunehmen.

Ausserdem können Beratungsstellen beurteilen, ob ein Fall von Diskriminierung vorliegt. In manchen Fällen kann es auch sinnvoll sein, sich an Verbraucherschutz-Organisationen zu wenden.

Nicht alle Fälle von Diskriminierung können vor Gericht gebracht werden. Die schweizerische Bundesverfassung garantiert das Gleichheitsgebot und das Diskriminierungsverbot. In der Verfassung wird die Gleichstellung von Mann und Frau garantiert und der Anspruch auf gleichen Lohn für gleichwertige Arbeit. Auch Massnahmen zur Beseitigung von Benachteiligungen von Menschen mit Behinderung schreibt die Bundesverfassung fest.

Ein allgemeines Antidiskriminierungsgesetz, also eines, das alle von Diskriminierung betroffenen Gruppen schützt, gibt es in der Schweiz nicht. Auch im privaten Bereich existiert kein allgemeines Diskriminierungsverbot, jedoch kennt das schweizerische Strafrecht eine Norm gegen Diskriminierung aufgrund der Rasse, Ethnie, Religion oder sexuellen Orientierung (Art. 261bis StGB).

Automatisierte Entscheidungssysteme sind heutzutage fast überall zu finden. Wenn zum Beispiel in einem Online-Shop ein Kauf auf Raten als bevorzugte Zahlungsoption angeklickt wird, wird in der Regel automatisch eine Bonitätsprüfung eingeleitet. Unternehmen setzen immer stärker Algorithmen ein, um Personalentscheidungen zu treffen und Arbeitsprozesse zu koordinieren. Behörden nutzen Algorithmen manchmal offen und manchmal im Hintergrund: bei Steuerbescheiden, bei der Vergabe von Kitaplätzen, bei der Polizeiarbeit oder auch im Justizwesen.

Eine ungleiche Behandlung stellt sich oft erst heraus, wenn unterschiedliche Personen mit demselben System unterschiedliche Erfahrungen gemacht haben. Wenn einer Person für eine Dienstleistung ein anderer Preis angezeigt als einer anderen oder wenn ein Antrag abgelehnt wird und ein ähnlicher Antrag angenommen, könnte das darauf zurückzuführen sein, dass eine automatisierte Risikobewertung Daten unterschiedlich bewertet. Wenn etwa die Wahrscheinlichkeit, einen Versicherungsanspruch geltend zu machen, automatisiert höher angesetzt wird, dann kann sich daraus ein höherer Preis ergeben. So etwas kann natürlich auch passieren, wenn Menschen Anträge bearbeiten. Unsere Aufgabe wäre es herauszufinden, ob automatisierte Systeme systematisch ungerechte Entscheidungen treffen und viele Menschen davon betroffen sein könnten.

Diskriminierung ist oft nicht sofort erkennbar. Wenn beispielsweise die Polizei ein Tool einsetzt, um auf der Grundlage bestimmter Kriminalitätsstatistiken automatisch einen Plan für Patrouillen zu erstellen, können bestimmte Stadtteile stärker davon betroffen sein. Für Aussenstehende wäre es in einem solchen Fall nicht ersichtlich, dass ein automatisiertes System der Grund für die erhöhte Polizeipräsenz in einem bestimmten Gebiet ist.

Bitte schildere uns deine Erfahrungen und erläutere kurz, inwiefern du den Vorfall als ungerecht oder diskriminierend empfunden hast. Du kannst auch Dateien hochladen, die den Fall dokumentieren oder ihn verständlicher machen: zum Beispiel Fotos von Briefen oder Screenshots von Websites, Formularen oder Web-Anwendungen. Du kannst uns stattdessen auch eine kurze Sprachnachricht oder ein Video schicken, um den Fall zu schildern.

Eine Nachricht an uns könnte ungefähr so aussehen:

«Liebes AlgorithmWatch CH-Team,

vor Kurzem habe ich für meine Versicherung X ein Online-Formular ausgefüllt. Sie hat mir daraufhin ein Angebot geschickt, in dem ein höherer Preis veranschlagt war als jemand zahlen muss, den ich kenne. Ich glaube, dass das automatisierte Preissystem bei meinen Profildaten von einem grösseren Schadensrisiko ausgeht. Meine persönliche Situation sieht nämlich folgendermassen aus…»

Bitte beachte: Algorithmen diskriminieren anders als Menschen und nicht unbedingt so, dass es auf Anhieb nachvollziehbar wäre. Ein System kann zum Beispiel aus manchen persönlichen Daten abwegige Schlussfolgerungen ableiten oder sie in spezielle Gruppenkategorien einordnen, die diskriminierend sein könnten, zum Beispiel «Hundehalterinnen über 40, die im Postleitzahl-Gebiet 0000 wohnen». Von daher ist es wichtig, an alle Angaben zu denken, die du zum Beispiel beim Ausfüllen eines Formulars oder bei einer Bestellung gemacht hast.

Wir setzen uns als Organisation dafür ein, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Menschenrechte und Nachhaltigkeit stärken, statt sie zu schwächen. Wir führen journalistische Recherchen durch, betreiben akademische Forschung und setzen uns für einen besseren Schutz vor algorithmischer Diskriminierung ein. Dazu gehört, Unternehmen in die Pflicht zu nehmen, Medien und die Öffentlichkeit auf Probleme aufmerksam zu machen und Politiker*innen daran zu erinnern, dass sie den Grundrechtsschutz einhalten müssen. Deine persönlichen Erfahrungen helfen uns dabei, Betreiber diskriminierender Systeme mit Beweisen dazu zu bringen, nötige Korrekturen vorzunehmen und uns für notwendige Regulierung einzusetzen.

AlgorithmWatch CH bietet eine erste Anlaufstelle bei algorithmischer Diskriminierung an und ordnet ein, was hinter dem Phänomen steckt. Wir verfolgen Fälle, wenn wir Hinweise dazu erhalten, dass der Einsatz von KI-Systemen zu ungerechten Effekten führt. AlgorithmWatch CH ist allerdings keine offizielle Beratungsstelle und kann keine juristischen Einschätzungen abgeben. Wir empfehlen daher, sich immer auch bei Beratungsstellen zu melden, die rechtliche Beratung anbieten. Dazu stellen wir eine Liste mit Beratungsstellen in der Schweiz zur Verfügung, an die du dich zusätzlich wenden kannst. Unsere Kolleg*innen von AlgorithmWatch helfen Menschen mit Wohnsitz in Deutschland und der EU weiter.

Persönliche Daten wie dein Name, deine E-Mail-Adresse oder deine Telefonnummer werden wir ausschliesslich zur Kommunikation mit dir verwenden. Es besteht immer die Möglichkeit, einen Fall anonym zu schildern, ein Pseudonym zu verwenden oder eine weitere Kontaktaufnahme abzulehnen. Bitte gib deinen Wunsch in unserem Formular an und sag uns, ob und/oder in welchem Umfang wir die von dir mitgeteilten Informationen verwenden dürfen. Dabei müssen wir die Privatsphäre aller beteiligten Personen berücksichtigen und bitten dich, nicht Daten von Dritten an uns weiterzugeben. Weitere Informationen findest du in unserer Datenschutz-Richtlinie.

Das AlgorithmWatch CH-Team kümmert sich um Fälle aus der Schweiz, während unser Team in Deutschland Fälle aus der gesamten EU betreut. Wenn ein Fall woanders aufgetreten ist oder du dir nicht sicher bist, ob du den Vorfall melden sollst, nimm bitte trotzdem Kontakt zu uns auf. Vielleicht kennen wir Anlaufstellen, die dir mit ihrer regionalen Expertise weiterhelfen können. Die jeweiligen Kontaktinformationen findest du unten auf dieser Seite.