L’algoritmo razzista esiste, e quasi tutte le grandi aziende ne usano uno

Un team di ricercatori di Stanford, Chapman e Northeastern University ha esaminato oltre quattro milioni di candidature filtrate dallo stesso algoritmo di selezione, e ha scoperto che il 26% degli aspiranti neri e il 15% di quelli asiatici finisce su posizioni in cui il sistema produce risultati che rientrano nei criteri federali di discriminazione. Lo studio si chiama Algorithmic Monocultures in Hiring e sarà presentato il mese prossimo alla ACM Conference on Fairness, Accountability and Transparency di Montréal.

Il dato pesa perché la regola applicata è la four-fifths rule che l’Equal Employment Opportunity Commission utilizza da decenni per identificare il disparate impact nelle assunzioni. Se l’algoritmo avesse trattato i candidati neri allo stesso ritmo del gruppo più favorito, sarebbero arrivate alla fase successiva quarantamila candidature in più. I numeri non sono una proiezione: vengono da centocinquantasei datori di lavoro, in larga parte aziende con ricavi superiori ai cinque miliardi di dollari, e da circa tre milioni di persone reali che si sono candidate.

Tutte le aziende osservate usano una sola piattaforma, Pymetrics (oggi parte di Harver). È qui che la ricerca introduce il concetto di algorithmic monoculture: quando un singolo fornitore filtra l’accesso al lavoro per gran parte di un’industria, ogni distorsione del suo modello si replica simultaneamente in tutto il mercato. Già nel 2023, secondo i dati citati dal paper, oltre il sessanta per cento delle Fortune 100 e otto delle dieci principali agenzie federali statunitensi usavano algoritmi della concorrente HireVue per i propri processi di selezione.

L’algorithmic blackball, ovvero quando il rifiuto diventa infrastruttura

Kathleen Creel, docente a Northeastern e coautrice dello studio, ha spiegato al Financial Times che il dominio di un singolo fornitore trasforma i suoi limiti in problemi sistemici: gli stessi candidati vengono respinti dalle stesse logiche in tutto il settore. Gli autori parlano di algorithmic blackball, una forma di esclusione automatica che era stata teorizzata negli anni passati ma mai documentata su questa scala con dati reali. Il candidato non riceve un rifiuto da un’azienda, riceve un rifiuto strutturale da un’industria intera.

Il problema non è inedito. Già nel 2018 Amazon aveva ritirato un proprio sistema di selezione interno perché penalizzava sistematicamente le candidate donne, e nel 2023 iTutor Group ha pagato 365.000 dollari di sanzione per discriminazioni algoritmiche per età e sesso. La differenza con il nuovo studio sta nella scala: non un’azienda, ma un fornitore che opera per cento e più aziende contemporaneamente, in un mercato già strutturalmente concentrato.

La concentrazione del mercato introduce poi un secondo livello di rischio sistemico: se il fornitore dominante smette di funzionare, oppure viene messo sotto accusa per discriminazione, decine di migliaia di aziende potrebbero trovarsi senza processi di selezione validi nello stesso momento. È lo stesso meccanismo che ha trasformato AWS in un single point of failure dell’economia digitale, applicato al mercato del lavoro.

Le proposte degli autori partono da quattro raccomandazioni concrete: misurare l’impatto discriminatorio per singola posizione e non in aggregato; rafforzare il monitoraggio del mercato tra aziende diverse; presidiare il rischio di concentrazione algoritmica; aprire i dati dei sistemi di recruiting a ricercatori indipendenti. La quarta è la più delicata, perché si scontra con la natura proprietaria dei modelli e con i contratti di riservatezza che i vendor impongono ai clienti enterprise.

L’AI Act arriva, ma il modello viziato resta lo stesso

Sul piano normativo, la cornice europea è in arrivo. L’European Union AI Act classifica i sistemi di selezione del personale come sistemi ad alto rischio, con obblighi di conformità che entrano in vigore il 2 agosto 2026. Le aziende che usano algoritmi per filtrare candidati dovranno condurre valutazioni di impatto preventive, garantire trasparenza ai candidati e informare le rappresentanze sindacali. Per gli altri sistemi listati nell’Allegato III, peraltro, le scadenze sono state rinviate al 2027 e 2028; quella dei sistemi HR per ora regge.

Negli Stati Uniti il quadro è più frammentato. La Local Law 144 approvata da New York City nel 2021 è stata la prima norma esplicitamente rivolta agli algoritmi di assunzione, ma gli autori dello studio osservano che il suo impianto basato su bias audit aggregati incoraggia proprio il tipo di analisi che può nascondere le disparità per posizione. La conformità formale rischia di diventare una foglia di fico: il rapporto certifica che il sistema, nel complesso, non discrimina, mentre nelle singole posizioni il filtro continua a operare.

Per chi acquista questi sistemi, l’AI Act introduce un onere concreto. La compliance non è un timbro: richiede una doppia conformità tra normativa europea e legge italiana 132/2025, valutazioni di impatto periodiche, audit di terze parti e capacità di rispondere ai ricorsi dei candidati. Costi che fino a oggi nessun bando di gara HR ha contabilizzato.

Cosa fa un’azienda quando il suo fornitore di filtri è già viziato

Il primo passo è capire se la propria selezione passa da uno di questi algoritmi. Spesso i recruiter interni non lo sanno: il filtro è incorporato in piattaforme ATS (Applicant Tracking System) che le aziende acquistano come servizio gestito, e i punteggi che arrivano al responsabile delle risorse umane sono già stati ripuliti dei candidati esclusi. La trasparenza verso il committente, oggi, è opzionale.

Il secondo passo è esigere dal vendor i dati per singola posizione, non l’audit aggregato annuale. La four-fifths rule funziona solo se applicata posizione per posizione: una posizione che esclude i neri al 60% può convivere con dieci che li includono al 95%, e l’audit aggregato risulta conforme. Lo studio Stanford-Chapman-Northeastern dimostra che è esattamente in questa zona grigia che si annida la maggior parte del bias documentato.

Il terzo passo riguarda la rinegoziazione contrattuale. Se l’AI Act impone responsabilità al deployer (l’azienda che usa il sistema), e non solo al provider (il vendor che lo costruisce), il rischio di sanzione passa al cliente. Le aziende che hanno firmato contratti pluriennali con vendor di recruiting dovranno rinegoziare clausole di indennizzo, audit indipendenti e diritto di switch, prima che la sanzione arrivi.

Resta la questione di fondo, che lo studio rende esplicita. La logica del recruiting algoritmico è ottimizzare un parametro: produttività attesa, fit culturale, retention. Ma ogni parametro è una proxy costruita sui dati storici di un’azienda, e i dati storici di un’azienda sono il risultato di decenni di assunzioni umane che hanno avuto le proprie distorsioni. L’algoritmo non corregge il pregiudizio storico, lo eredita e lo industrializza. La parola monocoltura usata dai ricercatori è precisa: un solo modello, un solo fornitore, un solo set di pregiudizi che si replica su scala continentale. La compliance formale, da sola, non basta a smontarla. Servono dati aperti ai ricercatori indipendenti, pluralità di fornitori, e una pressione regolatoria che misuri la discriminazione dove si verifica davvero: posizione per posizione, candidato per candidato.