Questo articolo è stato scritto per Tangram, la rivista della Commissione federale contro il razzismo (FCR).

Sbloccare il telefonino con un sorriso, perdersi nei ricordi scorrendo le fotografie presentate automaticamente in ordine di persona, limitare l’accesso all’edificio senza ricorrere alle chiavi: il riconoscimento facciale è una tecnologia notevole. E consente anche di riconoscere le persone che si trovano in un determinato luogo dello spazio pubblico.

Alcune applicazioni sono utili o divertenti, con altre i sistemi di riconoscimento facciale influiscono su decisioni che possono avere conseguenze di vasta portata. È il caso, ad esempio, quando il sistema non si limita a confrontare un viso con quello su una fotografia, bensì individua una specifica persona nella folla ricorrendo a immagini salvate in una banca dati di volti e relativi dati personali. L’utilizzo di tali sistemi nello spazio pubblico apre la strada alla sorveglianza di massa.

In questo contesto, la situazione si fa problematica quando la tecnologia non funziona ugualmente bene con tutti. Il riconoscimento facciale, infatti, dà i risultati migliori con gli uomini bianchi.

Perché è un problema? Perché può ad esempio essere all’origine di discriminazioni razziali o sessuali. Se i sistemi funzionano meno efficacemente con persone dalla pelle scura, queste ultime vengono più spesso identificate per errore (diventando dei «falsi positivi»), con gravi conseguenze soprattutto nell’ambito del perseguimento penale. Basti pensare a quello che succede quando sono impiegati durante le dimostrazioni, come l’anno scorso in occasione delle proteste del movimento Black Lives Matter negli USA. Il riconoscimento facciale sta prendendo rapidamente piede anche in Europa ed è una questione che riguarda tutti noi.

Schema discriminatorio nelle banche dati

Come mai i volti femminili o con la pelle scura sono riconosciuti meno bene? Le banche dati test con cui sono stati nutriti gli algoritmi che permettono il riconoscimento facciale spesso non sono rappresentative, perché contengono una distorsione – un «bias», in linguaggio tecnico – ossia un numero sproporzionato di foto di uomini bianchi. In gran parte sono inoltre programmate da uomini bianchi, e le posizioni dirigenziali in aziende, amministrazioni e politica sono occupate in misura superiore alla media da uomini bianchi.

Per i test e le esercitazioni vengono utilizzati dati del passato: negli algoritmi confluiscono così strutture del potere e decisionali, valori, norme e pregiudizi sociali egemoni ormai obsoleti. Le previsioni si basano su queste informazioni, e quindi anche sugli schemi discriminatori e i «bias» che queste (leggi: la nostra società) includono. Se un tempo un determinato gruppo era privilegiato, la previsione ne terrà conto, anche se nel frattempo in quanto società non lo consideriamo più accettabile. Un algoritmo deputato a constatare la gravità, per la singola persona, di una malattia renale può dunque contenere un’opinione superata e oggi considerata errata, come «le persone dalla pelle scura sopportano meglio il dolore». In questo modo, vengono involontariamente tenuti in vita pregiudizi appartenenti al passato, il che rende più difficile superare le discriminazioni e ostacola il progresso morale.

L’osservazione attenta di decisioni basate su algoritmi permetterebbe inoltre di portare alla luce discriminazioni nascoste, considerato che le valutazioni fondate su criteri obsoleti non avvengono soltanto nell’algoritmo, ma anche in procedure non digitali. Potrebbe essere un’opportunità per rendersi finalmente conto di determinati schemi di pensiero e di discriminazione presenti nel mondo analogico.

Anche in altri ambiti si ricorre sempre più spesso agli algoritmi, ad esempio nel reclutamento o nella valutazione del personale, oppure nella «content curation», ossia nella raccolta e presentazione di contenuti che vediamo nella cronologia dei nostri social media (v. riquadro). In Svizzera è in corso un progetto pilota che, tramite algoritmo, testa la distribuzione dei rifugiati tra i Cantoni al fine di ottimizzare il loro inserimento nel mercato del lavoro. Anche i settori della mobilità, della medicina o delle prestazioni sociali si avvalgono di questa nuova tecnologia, di cui il riconoscimento facciale è soltanto uno dei possibili campi d’applicazione. È dunque importante non ignorare gli effetti problematici che i processi decisionali automatizzati possono comportare, soprattutto quando i loro esiti hanno ripercussioni pesanti sulla vita degli individui.

Sistemi sociotecnologici

Quale potrebbe essere una possibile soluzione? Molti diranno che bisognerebbe fare in modo che la composizione dei team di sviluppatori di software sia il più diversificata possibile. È un inizio, ma non basta per raggiungere l’obiettivo, perché ogni singolo componente del team apporta i propri pregiudizi e pareri, i dati test a cui ricorre riproducono schemi di pensiero sociali e l’impiego di strumenti basati su algoritmi avviene in un dato contesto sociale: stiamo parlando di veri e propri sistemi sociotecnologici di cui dobbiamo sempre tenere presente il quadro.

Altri affermeranno che la protezione dei dati risolve tutto. Purtroppo non è così. Paradossalmente, in determinati casi la protezione dei dati costituisce persino un ostacolo alla prevenzione della discriminazione: quando si testano gli algoritmi, si possono osservare soltanto caratteristiche per le quali si dispone di dati. Se non ci sono dati, ad esempio sull’orientamento sessuale o sul colore della pelle, non è possibile verificare se qualcuno è discriminato sulla base di questi fattori. Ciò non significa, però, che le norme in materia di protezione dei dati debbano essere allentate: urgono, al contrario, nuove soluzioni per trovare il difficile compromesso tra protezione dei dati e protezione dalla discriminazione.

Teniamo inoltre presente che la protezione dei dati si applica sempre e soltanto ai dati personali; tuttavia, anche senza di essi, con metodi statistici si possono trarre conclusioni sulle persone interessate. Certo, serve una grande quantità di dati, ma spesso ne abbiamo a disposizione a sufficienza. In Svizzera, diverse polizie cantonali utilizzano sistemi di «polizia predittiva» basati su algoritmi per prevedere future violazioni della legge basandosi su quelle del passato, ad esempio nell’ambito dei furti nelle abitazioni. Pur in assenza di dati personali, il sistema può fornire risultati discriminatori sotto svariati punti di vista: non considera, ad esempio, che la polizia quale istituzione in passato tendeva a controllare maggiormente le minoranze; questa informazione confluisce tuttavia nella base di dati. Se il sistema giunge alla conclusione che in un determinato quartiere – in cui risiedono ad esempio molte minoranze – succederanno più crimini, la polizia svolgerà più controlli e si innescherà un circolo (discriminatorio) autoalimentato: effettuando più controlli, la polizia scoprirà di sicuro anche più crimini.

Utilizzo etico degli algoritmi

Un’altra possibile soluzione è accelerare lo sviluppo tecnologico: se il «bias» nei sistemi di riconoscimento facciale può essere risolto tecnicamente e i sistemi funzionano in modo accurato con tutte le persone, il problema della discriminazione è risolto. Peccato che non sia così semplice. Dobbiamo infatti chiederci se, in quanto società democratica, possiamo realmente accettare l’impiego nello spazio pubblico di tecnologie che consentono la sorveglianza di massa. Le persone potrebbero smettere di esprimere la propria opinione oppure di partecipare alle dimostrazioni. No, non possiamo tollerare questo effetto deterrente sull’esercizio dei diritti fondamentali, che è un prerequisito non negoziabile per la democrazia.

Altri potranno quindi rispondere: d’accordo, in tal caso basta fare in modo che gli algoritmi siano etici. Ma gli algoritmi non possono essere etici o agire in modo etico. Non sono persone. Soltanto chi è in grado di agire con consapevolezza può farlo anche in modo etico. Gli algoritmi non possono. Per la stessa ragione non sono intelligenti, nonostante siano spesso chiamati «intelligenza artificiale». Non possono nemmeno assumersi la responsabilità delle proprie «decisioni» o delle azioni che ne conseguono. Unicamente le persone possono farlo. La terminologia che li designa è ancora imprecisa e poco chiara, e nemmeno gli esperti sono finora riusciti a stabilire una denominazione uniforme. Noi abbiamo scelto di utilizzare l’espressione «sistemi decisionali automatici» o sistemi di ADM, dall’inglese «automated decision-making». Suona complicato, ma non lo è, perché si capisce subito che non si tratta di un’intelligenza in senso umano, bensì dell’automatizzazione di un processo che può avere effetti sulle persone o sulle decisioni umane. Non si tratta di una tecnologia specifica, bensì del contesto sociale più ampio in cui questa è utilizzata.

Quello che possiamo fare è avvalerci in modo etico degli algoritmi, il che è naturalmente auspicabile. Come si usano eticamente i sistemi di ADM? Rispettando i principi etici essenziali, come la dignità umana, la giustizia e l’autonomia, sanciti nei diritti fondamentali. Non è tuttavia chiaro come procedere in concreto: sono in atto tentativi di applicare punteggi o marchi etici, ma finora nessuna soluzione si è affermata su larga scala, senza contare che i punteggi spesso non sono obiettivi e possono essere manipolati. In genere si tratta di istantanee che non considerano le riflessioni nate dallo sviluppo dell’algoritmo. Se nell’esercizio corrente sono apportate modifiche, non si effettua ad esempio una nuova valutazione. Sarebbe invece utile un altro approccio, volto a identificare, accompagnare e documentare sistematicamente i problemi in tutte le fasi – dalla pianificazione, ai test, all’implementazione e, per l’appunto, anche durante l’esercizio corrente del sistema.

Tutti questi esempi hanno in comune un elemento: sull’argomento manca un ampio dibattito basato sui fatti. Nessuno è in grado di stimare quanto sia grande l’influsso dei sistemi di ADM nella micro e macro realtà. È tutto molto opaco, motivo per cui non è ancora stato praticamente possibile avviare un dibattito pubblico sull’argomento.

La necessità di un ampio dibattito

Ci sono però anche proposte di soluzione efficaci, capaci di portare a un utilizzo etico dei sistemi di ADM. Un primo passo è la trasparenza, che tuttavia non è l’obiettivo, bensì il mezzo per raggiungere lo scopo. È necessaria ai più svariati livelli. La pubblica amministrazione dovrebbe ad esempio tenere un registro liberamente consultabile di tutti i sistemi di ADM utilizzati, con indicazioni comprensibili per chiunque su scopo, modello e attori coinvolti. Le piattaforme di social media private (v. riquadro), sulle quali oggi si svolge una parte sostanziale del dibattito pubblico, devono esporre in modo trasparente come curano i loro contenuti o a chi indirizzano la pubblicità mirata. Per illuminare questa scatola nera, esperti che fanno ricerca pubblica devono poter accedere ai dati e agli algoritmi delle piattaforme. Soprattutto quando si tratta della diffusione di teorie del complotto e false informazioni, devono poter analizzare come le piattaforme private influiscono sul dibattito pubblico e in che misura contribuiscono alla divulgazione di simili contenuti. Soltanto con requisiti di trasparenza di questo e altro tipo è possibile instaurare un dibattito basato sui fatti, pubblico e democratico, sull’impiego e gli effetti dei sistemi di ADM. Senza una discussione aperta, non è nemmeno possibile esercitare un controllo democratico e fondato sull’evidenza sul ricorso a questi sistemi.

In tutti i settori, la responsabilità va chiaramente attribuita alle persone e l’obbligo di rendiconto deve sempre essere garantito. La scusa che «è stata la macchina» non è accettabile, soprattutto quando si tratta dei pilastri della nostra convivenza sociale e della protezione dei diritti fondamentali degli individui.

Il ricorso ai sistemi di ADM può senz’altro essere utile. Occorre tuttavia garantire che lo sia veramente, che davvero accresca – e non riduca – l’autonomia e la libertà individuali, la partecipazione e il benessere comune; che serva a molti e non soltanto a pochi. Al momento notiamo che per una gran parte dei sistemi impiegati non è così. È dunque ora di avviare un ampio dibattito tra società, politica e scienza al fine di sviluppare soluzioni comuni per un impiego etico, trasparente e responsabile dei sistemi di ADM.

---

Algoritmi e social media

Chi può vedere o leggere che cosa, quando e di chi sui social media è stabilito dagli algoritmi, che tuttavia non operano in modo trasparente. Nessuno, oltre ai titolari delle piattaforme, sa come funzionano esattamente e secondo quali criteri selezionano i contenuti proposti, il loro ordine e la loro priorità. Le preferenze dell’utente sono sicuramente decisive, ma studi hanno rivelato che non sono gli unici criteri. L’algoritmo di Instagram, ad esempio, ha una predilezione per immagini di donne poco vestite e le mostra più spesso di altre nella cronologia – un effetto non riconducibile unicamente ai clic o ai «Mi piace» apposti a foto di donne in bikini. Per Instagram vale quindi il principio «undress or fail» (spogliati o fallisci).

Va da sé che, con gli algoritmi, si possono diffondere anche teorie del complotto, discorsi d’odio o false informazioni. È ad esempio emerso che l’algoritmo di YouTube raccomanda spesso a utenti non anglofoni contenuti che violano le condizioni di utilizzo della stessa piattaforma, tra cui fake news. Va tuttavia precisato che gli algoritmi delle piattaforme di social media non sono gli unici vettori delle teorie del complotto: non vanno infatti dimenticati gli ambiti analogici della società. Le bufale non hanno origine da un algoritmo, ma da persone. Le piattaforme private, sulle quali oggi si svolge una parte sostanziale del dibattito pubblico, contribuiscono senz’altro in misura preponderante a diffondere teorie complottiste, ma non dovrebbero essere loro a stabilire quali contenuti possono essere oggetto di dibattito pubblico, a meno che non siano illegali. Per la sfera pubblica è essenziale che si arrivi a capire come gli algoritmi delle piattaforme funzionano e come pilotano la diffusione, tra l’altro, di false informazioni.

---