Nel 2018, Amazon scoprì che il suo sistema di recruiting basato su intelligenza artificiale penalizzava sistematicamente i curriculum delle donne. L'algoritmo era stato addestrato su dieci anni di assunzioni — in un'azienda dominata da uomini. Aveva "imparato" che essere donna era un fattore negativo. Amazon abbandonò il sistema, ma il caso rivelò un problema strutturale: i bias algoritmici non sono errori, sono specchi delle disuguaglianze della società che li produce.
COMPAS, un algoritmo usato nei tribunali americani per valutare il rischio di recidiva dei detenuti, è forse il caso più noto. Un'inchiesta di ProPublica nel 2016 dimostrò che il sistema sovrastimava sistematicamente il rischio per i detenuti afroamericani e lo sottostimava per i bianchi. Le decisioni sulla libertà delle persone venivano prese da un algoritmo che nessuno poteva ispezionare, costruito da un'azienda privata, con criteri opachi.
I bias algoritmici hanno tre fonti principali. La prima sono i dati di addestramento: se i dati riflettono disuguaglianze storiche (e quasi sempre lo fanno), l'algoritmo le perpetuerà. La seconda è la scelta delle variabili: decidere cosa misurare e cosa ignorare è una scelta politica mascherata da tecnica. La terza è la funzione obiettivo: ottimizzare per l'efficienza produce risultati diversi dall'ottimizzare per l'equità.
Il problema è aggravato dall'opacità. Molti algoritmi decisionali sono "black box": producono output senza spiegare come ci arrivano. Quando un algoritmo nega un mutuo, rifiuta un curriculum o determina la pena di un detenuto, la persona coinvolta ha il diritto di sapere perché. Il GDPR europeo prevede il "diritto alla spiegazione", ma la sua applicazione resta vaga.
Cosa possiamo fare? Audit algoritmici indipendenti, trasparenza nei dataset di addestramento, diversità nei team di sviluppo, e soprattutto: decidere consapevolmente quando un algoritmo è appropriato e quando non lo è. Non tutto deve essere automatizzato. Alcune decisioni — quelle che riguardano la libertà, la salute, l'educazione — richiedono giudizio umano, contesto e compassione che nessun algoritmo può replicare.