Il bias algoritmico non è un concetto astratto: ha conseguenze concrete e misurabili sulla vita delle persone. In questo capitolo esaminiamo tre ambiti dove l'impatto è particolarmente grave: il sistema giudiziario, il mercato del lavoro e il sistema sanitario.
Giustizia: il caso COMPAS. Negli Stati Uniti, molti tribunali usano software di "risk assessment" per aiutare i giudici a decidere sulla cauzione, la libertà condizionale e la severità delle pene. COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è il più noto. Nel 2016, un'inchiesta di ProPublica rivelò che COMPAS assegnava alle persone nere un rischio di recidiva quasi doppio rispetto alle persone bianche, anche quando le loro storie criminali erano comparabili. La società che produceva COMPAS, Northpointe, contestò l'analisi, sostenendo che il sistema era "calibrato" correttamente. Avevano ragione entrambi — perché, come i matematici hanno poi dimostrato, diverse definizioni di "equità" possono essere simultaneamente incompatibili. La domanda "è equo?" non ha una risposta tecnica: è una scelta politica su quale tipo di equità privilegiare.
Lavoro: il caso Amazon. Nel 2018, Reuters rivelò che Amazon aveva sviluppato un sistema di AI per la selezione dei curricula che penalizzava sistematicamente le donne. Il motivo era semplice: il sistema era stato addestrato sui curricula dei dipendenti degli ultimi 10 anni, un periodo in cui Amazon — come gran parte del settore tech — era prevalentemente maschile. Il modello aveva "imparato" che i curricula con parole come "women's" (es. "captain of women's chess club") erano negativamente correlati con l'assunzione. Amazon cancellò il progetto, ma il caso illustra un principio generale: un sistema addestrato sul passato tenderà a replicare il passato.
Sanità: l'algoritmo Optum. Nel 2019, uno studio pubblicato su Science rivelò che un algoritmo usato da ospedali americani per allocare risorse sanitarie discriminava sistematicamente i pazienti neri. L'algoritmo usava i costi sanitari come proxy della gravità delle condizioni mediche. Ma, a causa di disuguaglianze strutturali nell'accesso alle cure, le persone nere tendevano a spendere meno per la sanità — non perché fossero più sane, ma perché avevano meno accesso. Il risultato: a parità di condizioni di salute, l'algoritmo assegnava meno risorse ai pazienti neri. Un bias di misurazione con conseguenze potenzialmente letali.
Questi casi non sono eccezioni: sono la regola. Ogni volta che un sistema algoritmico viene utilizzato per prendere decisioni che riguardano persone — e specialmente quando queste decisioni coinvolgono gruppi storicamente marginalizzati — il rischio di discriminazione è reale e sistemico. La soluzione non è smettere di usare la tecnologia, ma governarla con consapevolezza, trasparenza e responsabilità.