La scorsa settimana, la neoeletta rappresentante americana Alexandria Ocasio-Cortez ha fatto notizia quando ha dichiarato, nell'ambito del quarto evento annuale MLK Now, che le tecnologie e gli algoritmi di riconoscimento facciale "hanno sempre queste disuguaglianze razziali che vengono tradotte, perché gli algoritmi sono ancora fatti dagli esseri umani, e quegli algoritmi sono ancora ancorati ai presupposti umani di base. Sono solo automatizzati. E presupposti automatizzati - se non risolvi il pregiudizio, allora stai solo automatizzando il pregiudizio. "
Ciò significa che gli algoritmi, che sono teoricamente basati sulle verità oggettive della matematica, possono essere "razzisti"? E se è così, cosa si può fare per rimuovere questo pregiudizio?
Si scopre che l'output degli algoritmi può effettivamente produrre risultati distorti. I data scientist affermano che i programmi per computer, le reti neurali, gli algoritmi di machine learning e l'intelligenza artificiale (AI) funzionano perché imparano come comportarsi dai dati che vengono loro dati. Il software è scritto da umani che hanno pregiudizi e anche i dati di addestramento sono generati da umani che hanno pregiudizi.
Le due fasi dell'apprendimento automatico mostrano come questo pregiudizio possa insinuarsi in un processo apparentemente automatizzato. Nella prima fase, la fase di addestramento, un algoritmo apprende sulla base di una serie di dati o di determinate regole o restrizioni. Il secondo stadio è lo stadio di inferenza, in cui un algoritmo applica ciò che ha appreso nella pratica. Questo secondo stadio rivela i pregiudizi di un algoritmo. Ad esempio, se un algoritmo viene allenato con immagini di sole donne che hanno i capelli lunghi, penserà che chiunque abbia i capelli corti sia un uomo.
Google ha infamemente sparato nel 2015 quando Google Photos ha etichettato i neri come gorilla, probabilmente perché quelli erano gli unici esseri dalla pelle scura nel set di addestramento.
E il pregiudizio può insinuarsi attraverso molti viali. "Un errore comune è la formazione di un algoritmo per fare previsioni basate su decisioni passate di umani distorti", ha detto a Live Science Sophie Searcy, senior data scientist presso il bootcamp di data-training Metis. "Se prendo un algoritmo per automatizzare le decisioni precedentemente prese da un gruppo di agenti di prestito, potrei prendere la strada facile e addestrare l'algoritmo sulle decisioni passate da quegli agenti di prestito. Ma poi, ovviamente, se quegli agenti di prestito fossero di parte, allora l'algoritmo che costruisco continuerà questi pregiudizi ".
Searcy ha citato l'esempio di COMPAS, uno strumento predittivo utilizzato in tutto il sistema di giustizia penale statunitense per la condanna, che cerca di prevedere dove si verificherà il crimine. ProPublica ha effettuato un'analisi su COMPAS e ha scoperto che, dopo aver controllato altre spiegazioni statistiche, lo strumento ha sovrastimato il rischio di recidiva per gli imputati neri e ha costantemente sottovalutato il rischio per gli imputati bianchi.
Per aiutare a combattere i pregiudizi algoritmici, Searcy ha detto a Live Science che ingegneri e data scientist dovrebbero creare set di dati più diversi per nuovi problemi, oltre a cercare di comprendere e mitigare i pregiudizi integrati nei set di dati esistenti.
Innanzitutto, ha affermato Ira Cohen, scienziata di dati presso la società di analisi predittiva Anodot, gli ingegneri dovrebbero avere un set di formazione con una rappresentazione relativamente uniforme di tutti i tipi di popolazione se stanno addestrando un algoritmo per identificare attributi etnici o di genere. "È importante rappresentare un numero sufficiente di esempi per ciascun gruppo di popolazione, anche se si tratta di una minoranza nella popolazione complessiva in esame", ha detto Cohen a Live Science. Infine, Cohen consiglia di verificare la presenza di errori in un set di test che include persone di tutti questi gruppi. "Se, per una determinata razza, l'accuratezza è statisticamente significativamente inferiore rispetto alle altre categorie, l'algoritmo potrebbe avere un pregiudizio e valuterei i dati di allenamento che sono stati utilizzati per esso", ha detto Cohen a LiveScience. Ad esempio, se l'algoritmo è in grado di identificare correttamente 900 su 1.000 volti bianchi, ma rileva correttamente solo 600 su 1.000 volti asiatici, l'algoritmo potrebbe avere una propensione "contro" gli asiatici, ha aggiunto Cohen.
Rimuovere i pregiudizi può essere incredibilmente impegnativo per l'IA.
Anche Google, considerato un precursore dell'IA commerciale, a quanto pare non è riuscito a trovare una soluzione completa al suo problema di gorilla dal 2015. Wired ha scoperto che invece di trovare un modo per i suoi algoritmi di distinguere tra persone di colore e gorilla, Google ha semplicemente bloccato i suoi algoritmi di riconoscimento delle immagini dall'identificazione dei gorilla.
L'esempio di Google è un buon promemoria che l'addestramento del software di intelligenza artificiale può essere un esercizio difficile, in particolare quando il software non viene testato o addestrato da un gruppo rappresentativo e diversificato di persone.
