Scritto da Gerardo Canfora
5 minuti di lettura
Sistemi automatici, decisioni e nuove forme di potere invisibile
Un curriculum viene scartato prima ancora che un selezionatore umano lo legga. Una richiesta di mutuo riceve automaticamente un punteggio di affidabilità. Un algoritmo assegna priorità alle pattuglie di polizia in un determinato quartiere. Una compagnia assicurativa stabilisce il profilo di rischio di un cliente sulla base di centinaia di variabili. Un ranking universitario modifica strategie, investimenti e priorità di interi atenei.
Situazioni molto diverse tra loro, ma accomunate da un elemento: la decisione appare oggettiva perché prodotta da un sistema automatico. Ed è, probabilmente, proprio questa apparente oggettività a rendere tali sistemi così affascinanti. Le decisioni algoritmiche non appaiono soltanto più rapide o efficienti, ma anche più neutrali, imparziali e affidabili.
Quando la decisione viene presa da una persona tendiamo a pensare a preferenze, intuizioni o possibili arbitri. Se invece interviene un algoritmo, immaginiamo più facilmente una procedura impersonale basata sui dati. Una percezione comprensibile, ma spesso profondamente fuorviante.
Gli algoritmi operano sempre all’interno di contesti costruiti da esseri umani. Operano su dati raccolti in passato, su variabili selezionate da qualcuno, su criteri che riflettono priorità e obiettivi specifici. Ogni modello incorpora ipotesi, semplificazioni, scelte progettuali. L’automazione, quindi, non elimina il giudizio umano: spesso lo sposta semplicemente più in profondità, rendendolo meno evidente.
Dati non neutrali, decisioni non neutrali
Nel dibattito pubblico sull’intelligenza artificiale si parla spesso di bias algoritmico come di un’anomalia: un errore da correggere, una distorsione inattesa. Ma la questione è molto più complessa. Gli algoritmi apprendono dai dati raccolti in passato. Ma quei dati riflettono inevitabilmente squilibri e disuguaglianze già presenti nella società.
Un caso molto noto riguarda il sistema sperimentale sviluppato da Amazon per automatizzare la selezione dei CV. Il modello era stato addestrato sui dati storici delle assunzioni effettuate dall’azienda. Proprio per questo, però, aveva “imparato” a penalizzare sistematicamente i curriculum a candidature femminili, perché nei dati storici i profili maschili risultavano prevalenti[1].
Il sistema non aveva sviluppato autonomamente una forma di discriminazione. Aveva semplicemente appreso dai dati che gli erano stati forniti, aveva assorbito la logica intrinseca che contenevano, identificando come “desiderabile” il profilo statisticamente più frequente.
Un meccanismo analogo è emerso nel caso di COMPAS, un software utilizzato negli Stati Uniti per stimare il rischio di recidiva criminale. Un’inchiesta di ProPublica del 2016 mostrò come il sistema producesse errori sistematicamente differenti tra imputati bianchi e imputati afroamericani[2]. Anche in questo caso, l’aspetto più rilevante non era semplicemente l’errore tecnico, ma il fatto che il modello finisse per incorporare correlazioni costruite su dati storici profondamente segnati da squilibri sociali.
Fenomeni analoghi emergono oggi anche nei grandi modelli linguistici. Diversi studi hanno mostrato come sistemi generativi tendano a riprodurre associazioni stereotipate presenti nei dati di addestramento: professioni tecniche associate più frequentemente a uomini, ruoli di leadership a determinati gruppi sociali, professioni di cura a figure femminili[3].
Nel 2024 Google ha sospeso temporaneamente la generazione di immagini di persone nel sistema Gemini dopo le polemiche legate alla produzione di rappresentazioni storicamente inaccurate, emerse nel tentativo di evitare squilibri e stereotipi nei risultati generati[4].
I modelli, semplicemente, apprendono regolarità statistiche sedimentate nel materiale su cui sono addestrati.
I grandi modelli linguistici introducono inoltre una nuova forma di opacità: la capacità di produrre risposte plausibili anche quando errate. Un noto esempio è il processo Mata v. Avianca Inc, negli Stati Uniti, dove si è accertato[5] che furono presentati in tribunale documenti legali contenenti precedenti giurisprudenziali inesistenti generati da ChatGPT. L’episodio ha reso evidente quanto le risposte generate automaticamente possano apparire credibili anche quando sono false.
La forza simbolica dell’algoritmo
Tutti questi casi mostrano un fatto essenziale: i dati non si limitano a descrivere la realtà. Contribuiscono anche a organizzarla, classificarla e selezionarla secondo determinate categorie.
Ogni dataset nasce infatti da una serie di decisioni preliminari: quali informazioni raccogliere, quali escludere, quali considerare rilevanti, quali utilizzare come indicatori di successo o rischio. Sono scelte che spesso restano invisibili agli utenti finali, ma che influenzano profondamente il comportamento dei sistemi. La questione, quindi, non riguarda solo l’accuratezza dei modelli, ma anche il modo in cui definiamo ciò che deve essere considerato normale, affidabile, desiderabile.
Eppure, nonostante questi limiti siano ampiamente documentati, le decisioni algoritmiche continuano a esercitare un forte potere simbolico. C’è una ragione abbastanza intuitiva dietro questa percezione: la matematica gode di una particolare aura di neutralità. Un numero tende ad apparire più oggettivo di una valutazione verbale, e un punteggio sembra spesso più imparziale di un giudizio discrezionale. Una classifica sembra descrivere la realtà, non interpretarla. Proprio questa apparente neutralità contribuisce a rendere gli algoritmi così potenti nelle organizzazioni contemporanee.
Quando un sistema assegna un punteggio di affidabilità creditizia, il risultato tende a essere percepito come il prodotto di un calcolo tecnico, non come una decisione costruita attraverso scelte progettuali. Quando un ranking universitario colloca un ateneo sopra un altro, la classifica appare come una fotografia neutrale della qualità, anche se dipende da criteri specifici, pesi arbitrari, indicatori selezionati[6].
I sistemi di ranking, però, non si limitano a misurare le istituzioni, ma finiscono per modificarne il comportamento. Se un’università viene valutata sulla base di determinati indicatori, tenderà a orientare investimenti e strategie verso ciò che migliora quei parametri. A quel punto la misura non si limita più a descrivere la realtà: finisce per influenzarla.
Lo stesso accade in molti altri contesti. Se una piattaforma valuta un lavoratore attraverso rating numerici, quel rating finisce per orientare il comportamento del lavoratore stesso. Se un sistema di valutazione premia esclusivamente ciò che è facilmente misurabile, gli attori coinvolti impareranno rapidamente a ottimizzare ciò che viene misurato. In questo senso, l’algoritmo non esercita soltanto un potere tecnico, ma anche culturale e organizzativo.
L’automazione del giudizio e il mito della neutralità
Il punto centrale non è soltanto che alcune attività vengano automatizzate, ma che vengano automatizzati anche i criteri con cui valutiamo persone, comportamenti e istituzioni.
Per molto tempo abbiamo pensato all’automazione come alla sostituzione di attività ripetitive o meccaniche. Ma i sistemi contemporanei intervengono sempre più spesso in ambiti che riguardano il giudizio: assumere o meno una persona, concedere un prestito, attribuire un livello di rischio, stabilire priorità.
Tutto questo modifica anche il modo in cui attribuiamo responsabilità. Quando una decisione viene presentata come il risultato di un modello matematico, diventa più difficile contestarla. Il giudizio appare incorporato nel sistema stesso. La decisione sembra emergere automaticamente dai dati, invece che da una serie di scelte umane sedimentate nell’architettura tecnica.
Il riferimento alla matematica finisce così per rendere queste decisioni automaticamente più legittime agli occhi di molte persone. Cathy O’Neil, nel suo Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, ha definito questi sistemi “armi di distruzione matematica”: modelli opachi, difficili da contestare, che influenzano la vita delle persone su larga scala senza offrire reali possibilità di comprensione o ricorso.
Questo non implica, naturalmente, che le decisioni umane siano intrinsecamente migliori. Anche il giudizio umano è pieno di bias, arbitrarietà, incoerenze. Ma almeno il giudizio umano è visibile come tale. Può essere discusso e, almeno in linea di principio, contestato. Le decisioni algoritmiche, invece, tendono spesso a presentarsi come inevitabili.
A questo punto la questione smette di essere soltanto tecnica. Perché ogni sistema automatico incorpora una certa idea di ciò che conta. Una definizione implicita di efficienza, rischio, affidabilità, merito.
Chi stabilisce quali variabili debbano entrare in un sistema di scoring? E chi decide quale livello di rischio sia considerato accettabile? Chi sceglie gli obiettivi che il modello deve ottimizzare?
Queste decisioni non vengono prese dagli algoritmi. Vengono prese da progettisti, aziende, istituzioni, organizzazioni. Una volta incorporate nei sistemi tecnici, però, queste decisioni diventano molto meno evidenti. Quello che il modello non considera, tende progressivamente a scomparire dal processo decisionale stesso.
Questo non significa che gli algoritmi debbano essere demonizzati. I sistemi automatici possono produrre benefici enormi: velocità, capacità di analisi, riduzione di alcuni tipi di arbitrarietà. Ma è importante ricordare che ogni sistema algoritmico incorpora comunque scelte umane, priorità e criteri di valore. E che proprio per questo deve poter essere discusso, contestato, supervisionato. Il rischio più grande, forse, è dimenticare che dietro gli algoritmi continuano sempre ad esserci scelte umane.
[1] Jeffrey Dastin, Insight – Amazon scraps secret AI recruiting tool that showed bias against women, «Reuters», 11 ottobre 2018.
[2] Julia Angwin, Jeff Larson, Surya Mattu e Lauren Kirchner, Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks, ProPublica, 23 maggio 2016.
[3] Challenging systematic prejudices: an investigation into bias against women and girls in large language models, UNESCO – International Research Centre on Artificial Intelligence, 2024.
[4] Prabhakar Raghavan, Gemini image generation got it wrong. We’ll do better, Google, 23 febbraio 2024.
[5] Case 1:22-cv-01461-PKC, Mata v. Avianca Inc, United States District Court – Southern District of New York.
[6] Dmitry Kochetkov, University rankings in the context of research evaluation: A state-of-the-art review, «Quantitative Science Studies» (2024) 5 (3): 533-555, 1 agosto 2024.
Una piattaforma culturale, una rivista e uno spazio di approfondimento per capire il presente.
Scopri di più
