Bias algoritmico: cos’è e perché riguarda orientamento, educazione e lavoro

Quando un algoritmo suggerisce un percorso, seleziona un curriculum o attribuisce un punteggio, può incidere sulle opportunità di una persona. Conoscere i bias aiuta a leggere questi risultati con maggiore consapevolezza e a mantenere centrale la valutazione umana.

Se i dati, gli obiettivi o i criteri di valutazione sono distorti, il risultato può penalizzare alcuni individui o gruppi. È il problema del bias algoritmico, una questione tecnica con conseguenze educative, sociali e professionali.

Per affrontarlo occorre capire come lo strumento è stato costruito, quali dati utilizza, che cosa misura e quale spazio conserva la valutazione professionale.

Il Magazine di Asnor l’Orientamento ha già dato spazio a un approfondimento sul rapporto tra strumenti tecnologici e centralità della persona, con l’articolo di Annie Pontrandolfo, Presidente Asnor, Cosa resta di umano? L’orientamento nell’era della tecnica e dell’IA.

Cos’è il bias algoritmico

Il bias algoritmico è una distorsione sistematica prodotta da un algoritmo o da un sistema di intelligenza artificiale, capace di generare risultati parziali, ingiusti o discriminatori verso persone o gruppi.

La distorsione può emergere in una classificazione, in una raccomandazione, nell’attribuzione di un punteggio o nella selezione di un profilo. Alcune persone possono ricevere meno opportunità, essere valutate con minore accuratezza oppure venire escluse sulla base di caratteristiche che non dovrebbero determinare una decisione.

Il semplice errore riguarda spesso un singolo caso e può dipendere, per esempio, da un dato mancante. Il pregiudizio algoritmico tende invece a ripetersi secondo uno schema: uno strumento può commettere più errori con un determinato gruppo, favorire profili simili a quelli già presenti oppure associare alcune caratteristiche a risultati negativi.

Anche un sistema con un’elevata accuratezza media può produrre esiti molto diversi tra gruppi. Lo ha mostrato lo studio sul funzionamento di algoritmi di machine learning Gender Shades di Joy Buolamwini e Timnit Gebru, presentato già nel 2018, quando ancora non si parlava di boom dell’intelligenza artificiale.

Analizzando sistemi commerciali di classificazione del genere basati su immagini facciali, le ricercatrici rilevarono tassi di errore inferiori all’1% per gli uomini con pelle chiara e fino al 34,7% per le donne con pelle scura.

Lo studio è consultabile negli atti della Conference on Fairness, Accountability and Transparency: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.

Il dato medio, preso isolatamente, avrebbe nascosto una differenza rilevante nella qualità del servizio offerto.

Da dove nasce il bias negli algoritmi

Un algoritmo apprende e opera all’interno di un sistema composto da dati, obiettivi, scelte tecniche, contesti organizzativi e comportamenti umani. Le distorsioni possono entrare in ciascuno di questi passaggi.

Dati incompleti o poco rappresentativi

Un modello di machine learning apprende regolarità dai dati di addestramento. Se alcuni gruppi sono scarsamente rappresentati, il sistema può funzionare con maggiore accuratezza sulla popolazione prevalente e mostrare prestazioni peggiori sulle altre.

La quantità dei dati, da sola, offre poche garanzie. Anche un archivio molto esteso può essere squilibrato, contenere errori o descrivere soltanto una parte della realtà.

Dati storici segnati da disuguaglianze

I dati del passato registrano decisioni umane, pratiche aziendali, differenze nell’accesso all’istruzione e dinamiche sociali. Utilizzarli senza una lettura critica può trasferire disuguaglianze precedenti nelle decisioni future.

Se un’organizzazione ha assunto per anni soprattutto persone con profili simili, un sistema addestrato sui dipendenti considerati “di successo” potrebbe privilegiare ancora quelle caratteristiche. In questo caso il modello rischia di riprodurre la storia dell’organizzazione invece di individuare il candidato più adatto alla posizione.

Obiettivi e variabili scelti male

Ogni sistema viene ottimizzato per un obiettivo e la scelta di ciò che deve prevedere influenza profondamente il risultato.

Un caso studiato da Ziad Obermeyer dell’Università della California e da altri ricercatori, pubblicato su Science nel 2019, riguardava un algoritmo sanitario utilizzato per individuare i pazienti bisognosi di maggiori cure. Il sistema usava la spesa sanitaria come indicatore del bisogno clinico. A parità di condizioni di salute, i pazienti neri avevano sostenuto costi inferiori a causa delle disparità nell’accesso alle cure. L’algoritmo finiva così per sottostimare le loro necessità.

Lo studio è disponibile su Science.

La criticità nasceva dalla scelta della spesa sanitaria come sostituto del bisogno di assistenza: una variabile apparentemente neutra che descriveva in realtà anche le disparità già presenti nell’accesso alle cure.

Uso poco critico dei risultati

Un modello può essere accurato entro i limiti per cui è stato progettato e produrre effetti problematici quando viene applicato in altri contesti o interpretato come una valutazione definitiva.

Un punteggio probabilistico offre una stima. Il modo in cui quella stima viene letta e utilizzata determina una parte rilevante delle sue conseguenze.

Bias cognitivo e bias algoritmico: qual è la differenza

I bias cognitivi sono distorsioni del giudizio umano. Possono portarci a cercare conferme delle nostre convinzioni, attribuire un peso eccessivo alla prima informazione ricevuta o preferire persone percepite come simili a noi.

Il bias algoritmico riguarda gli esiti prodotti da un sistema automatizzato. Esiste però una relazione stretta tra i due fenomeni, perché sono persone e organizzazioni a scegliere quali dati raccogliere, quali esempi utilizzare, quali obiettivi ottimizzare e quali risultati considerare adeguati.

Il National Institute of Standards and Technology statunitense invita a considerare insieme bias sistemici, statistici e cognitivo-umani. Lo sguardo si allarga così all’intero sistema sociotecnico: sviluppatori, fornitori, organizzazioni, utenti e persone coinvolte nelle decisioni.

Il riferimento è il rapporto NIST SP 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence.

Perché un algoritmo può produrre discriminazione

Una distorsione algoritmica può influenzare l’accesso a un corso, a un colloquio, a un servizio o a una promozione. Il rischio cresce nelle decisioni ad alto impatto e quando i criteri adottati restano opachi.

Un trattamento differenziato richiede particolare attenzione quando un gruppo viene penalizzato in modo sistematico e la differenza emersa non trova una giustificazione coerente con l’obiettivo del sistema.

La discriminazione algoritmica può derivare anche da variabili indirette. Un sistema potrebbe escludere genere, origine etnica o condizione economica dai parametri dichiarati e utilizzare informazioni strettamente correlate, come il codice postale, la scuola frequentata, le interruzioni lavorative o determinati modelli linguistici.

L’automazione introduce inoltre un effetto percettivo importante: un risultato espresso attraverso un numero comunica precisione. Un punteggio di 82 su 100, però, racconta poco delle ipotesi utilizzate per costruirlo, della qualità dei dati e dei margini di errore del sistema.

Bias algoritmico nel lavoro e nel recruiting

Nel recruiting, l’intelligenza artificiale può essere impiegata per analizzare curriculum, ricercare parole chiave, assegnare punteggi, effettuare il matching tra candidati e posizioni o supportare la valutazione di test e colloqui.

Un caso noto riguarda un sistema sperimentato da Amazon per classificare le candidature. Secondo un’inchiesta pubblicata da Reuters nel 2018, il modello era stato addestrato su curriculum ricevuti dall’azienda nell’arco di dieci anni, provenienti in prevalenza da uomini. Il sistema aveva appreso associazioni penalizzanti per alcuni riferimenti al genere femminile. Amazon abbandonò il progetto e dichiarò che lo strumento non era stato utilizzato come unico criterio per assumere candidati.

La ricostruzione è disponibile su Reuters.

Il caso mostra quanto sia delicato trasformare un archivio storico in un modello di merito. Quando il passato riflette una scarsa presenza femminile in determinati ruoli, un algoritmo costruito per imitare quelle scelte può consolidare lo squilibrio.

Altri problemi possono riguardare:

• percorsi professionali non lineari, penalizzati rispetto alle carriere continue;
• periodi di inattività dovuti a cura familiare, salute o formazione;
• competenze formulate con parole diverse da quelle previste dal software;
• candidati provenienti da scuole, territori o settori meno presenti nei dati;
• persone con disabilità che interagiscono diversamente con test o interfacce standardizzate.

Quando si valuta un software HR, è utile conoscere i dati utilizzati, i gruppi sui quali è stato testato e i criteri adottati per misurarne l’equità.

Uno studio di Raghavan e colleghi sulle pratiche dei fornitori di strumenti per l’assunzione evidenzia la necessità di esaminare con rigore le affermazioni relative alla mitigazione dei bias: Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices.

Sul Magazine di Asnor il rapporto tra intelligenza artificiale, assessment e selezione viene approfondito anche nell’articolo Oltre l’Algoritmo: perché l’Orientatore resta la bussola nell’era dell’IA.

Bias algoritmico nell’educazione e nell’orientamento

Le piattaforme educative possono raccomandare contenuti, prevedere il rischio di abbandono, valutare esercizi o suggerire percorsi. Nell’orientamento scolastico e professionale, i sistemi digitali possono confrontare competenze, interessi e opportunità formative.

Questi strumenti ampliano le informazioni disponibili, mentre la qualità della raccomandazione resta legata ai criteri adottati.

Consideriamo uno scenario ipotetico: una piattaforma utilizza i dati degli iscritti precedenti per suggerire corsi tecnici. Se storicamente quei percorsi sono stati scelti soprattutto da studenti maschi, il sistema potrebbe proporli con minore frequenza alle studentesse. Le scelte passate entrerebbero così nelle raccomandazioni rivolte alle nuove generazioni.

Un altro sistema potrebbe suggerire opportunità sulla base del rendimento scolastico, lasciando fuori condizioni familiari, barriere linguistiche, disabilità, cambiamenti recenti o motivazioni personali. Il profilo digitale restituirebbe una fotografia parziale della persona.

Per un orientatore o un educatore, l’output algoritmico può diventare un elemento di confronto all’interno di una lettura più ampia: aspirazioni, interessi, contesto, competenze trasversali, ostacoli incontrati e possibilità di crescita.

Un algoritmo costruito sulle probabilità storiche tende a indicare ciò che statisticamente appare più frequente. Il percorso più frequente e quello più adatto a una persona possono prendere direzioni diverse.

Il rapporto tra intelligenza artificiale e accompagnamento alle scelte è approfondito anche nell’articolo L’intelligenza artificiale a servizio dell’orientamento di carriera: quali opportunità.

Lo sguardo di Annunziata Di Lecce, Direttrice del CTS di Asnor

Che cosa accade a chi quell’indicazione la riceve? Le opportunità che si restringono si subiscono, si vedono, si contano, quindi si possono contestare. Però è più difficile accorgersi quando una persona comincia a considerare fuori dalla propria portata una strada comunque percorribile.

Nel nuovo Quaderno Asnor ho raccolto casi europei in cui questo è successo. Nel 2020 un modello statistico abbassò i voti a studenti britannici, penalizzando chi veniva da scuole con risultati storicamente più bassi. Chi ha meno strumenti per mettere in discussione la classificazione assegnata rischia di identificarsi con un’etichetta.

Oggi capita che sia un algoritmo a stabilire chi arriva a un servizio di orientamento, e per quale porta. Chi orienta lavora dentro questo quadro, e riconoscerlo serve a fare spazio al modo in cui una persona rilegge la propria storia. Lì torna a essere lei a vedersi e a dire di sé.

Approfondisci il Quaderno Asnor Uno sguardo sistemico al divenire nell’era IA, di Annunziata Di Lecce, Direttrice CTS Asnor, Psicologa del Lavoro, Design Thinker e Coach Neurocognitivo. Clicca qui sotto, leggi di più e scarica il documento.

Come ridurre il bias algoritmico

La mitigazione del bias algoritmico richiede controlli lungo tutto il ciclo di vita del sistema.

Chiarire lo scopo

Prima di introdurre uno strumento, occorre definire quale problema deve risolvere e quali decisioni potrà influenzare. È importante valutare la proporzionalità dell’automazione rispetto all’obiettivo e le conseguenze possibili di un errore.

Esaminare dati e variabili

Provenienza, aggiornamento e rappresentatività dei dati incidono direttamente sul funzionamento del sistema.

La raccolta di dati sensibili, quando necessaria per verificare disparità, deve rispettare la normativa sulla protezione dei dati e avere una base giuridica adeguata. Nelle organizzazioni questo tipo di valutazione richiede anche il coinvolgimento delle competenze legali e, ove previsto, del responsabile della protezione dei dati.

Misurare i risultati per gruppi

L’accuratezza complessiva racconta soltanto una parte delle prestazioni di un sistema. I test possono verificare tassi di errore, esclusione e selezione nei gruppi pertinenti al contesto.

La fairness in AI comprende diverse misure di equità, alcune delle quali possono entrare in tensione tra loro. La scelta dipende dallo scopo del sistema, dai diritti coinvolti e dal tipo di danno che si intende prevenire.

Garantire una supervisione umana effettiva

La presenza di un professionista nel processo acquista valore quando quella persona possiede gli strumenti e l’autorità per comprendere, discutere e correggere l’output.

Diversamente può emergere l’automation bias, la tendenza ad attribuire eccessiva fiducia a una raccomandazione automatica.

La supervisione richiede quindi accesso alle informazioni utili, conoscenza dei limiti del sistema e possibilità concreta di intervenire sulla decisione.

Rendere la decisione contestabile

Quando un sistema automatizzato incide in maniera rilevante su un’opportunità, la possibilità di comprendere il processo e chiedere una revisione aiuta a individuare errori e trattamenti ingiusti.

Trasparenza e contestabilità diventano così elementi della qualità stessa del processo decisionale.

Monitorare lo strumento nel tempo

Dati, popolazioni e contesti cambiano. Le prestazioni osservate durante il collaudo possono modificarsi dopo l’adozione.

Verifiche periodiche, registrazione degli incidenti e responsabilità organizzative definite permettono di intercettare effetti imprevisti e variazioni nell’accuratezza del sistema.

Cosa puoi fare nel tuo ambito professionale

Se sei un orientatore, chiedi come vengono generate le raccomandazioni e confrontale con la storia personale dell’utente. Il suggerimento algoritmico può diventare l’inizio di una discussione e di un’esplorazione più ampia.

Se lavori nell’educazione, evita di trasformare previsioni e classificazioni in etichette permanenti. Aiuta gli studenti a comprendere che i sistemi di IA producono stime basate su dati e criteri selezionati.

Se operi nelle risorse umane, sottoponi gli strumenti di screening e ranking a controlli periodici. Documenta il ruolo dell’algoritmo, conserva una valutazione umana sostanziale e osserva eventuali esclusioni ricorrenti.

Se sei uno studente, considera le raccomandazioni digitali come una fonte tra diverse. Chiedi quali informazioni siano state utilizzate e confronta il suggerimento con interessi, obiettivi e opportunità reali.

Se gestisci un’organizzazione, assegna responsabilità precise per acquisto, uso e monitoraggio dei sistemi. Nei rapporti con i fornitori, documentazione, test, sicurezza, protezione dei dati e gestione dei reclami sono aspetti da valutare fin dall’inizio.

Bias algoritmico e regole europee

Il quadro europeo dedica particolare attenzione agli impieghi dell’intelligenza artificiale che possono incidere sull’istruzione e sul lavoro.

L’AI Act – Regolamento (UE) 2024/1689 include tra gli ambiti ad alto rischio, nei casi individuati dal Regolamento, diversi sistemi destinati all’ammissione e alla valutazione in ambito educativo, al recruiting, alla selezione, alla gestione dei lavoratori e all’accesso al lavoro autonomo.

Per i sistemi classificati ad alto rischio il Regolamento introduce requisiti che riguardano, tra gli altri aspetti, gestione dei rischi, governance e qualità dei dati, documentazione, trasparenza, supervisione umana, accuratezza e monitoraggio.

In Italia, la Legge 23 settembre 2025, n. 132 disciplina l’intelligenza artificiale secondo princìpi di utilizzo corretto, trasparente, responsabile e antropocentrico. Sul Magazine di Asnor il quadro nazionale è approfondito nella Guida pratica alla Legge sull’IA: cosa cambia per formazione, orientamento e lavoro intellettuale.

Conclusioni: la responsabilità resta umana

Il bias algoritmico richiama una responsabilità precisa: leggere gli output dell’intelligenza artificiale alla luce del contesto in cui vengono prodotti e delle conseguenze che possono avere sulle persone.

Nei processi educativi, orientativi e lavorativi, dati e punteggi acquistano valore quando vengono interpretati criticamente. Occorre osservare chi rischia di essere penalizzato, interrogare i criteri utilizzati e intervenire quando il sistema produce effetti ingiusti o poco coerenti con la realtà che dovrebbe rappresentare.

L’algoritmo può sostenere il giudizio professionale. La responsabilità delle scelte e del modo in cui incidono sulla vita delle persone resta umana e organizzativa.