Il rischio di discriminazione algoritmica

L’impatto delle decisioni automatizzate sulle libertà fondamentali degli individui: il problema del rischio di discriminazione algoritmica

 

Inquadramento: cos’è il rischio di discriminazione algoritmica?

Come è ormai evidente nella realtà empirica, l’uso di algoritmi elaborati tramite logiche di intelligenza artificiale per prendere decisioni automatiche o semiautomatiche si sta esponenzialmente diffondendo in molti ambiti della vita umana.  Infatti, gli strumenti che implementano questa tecnologia vengono impiegati ampiamente, oltre che nella ricerca scientifica, anche in settori come l’istruzione, la sanità ed il mercato del lavoro[1].

Si può essere d’accordo con l’affermazione per cui gli algoritmi – in particolare gli algoritmi di nuova generazione definiti di machine learning[2] – siano utili alla semplificazione e razionalizzazione dei processi e decisioni che gravano sulle spalle dell’individuo. Essi permettono di valutare grandi quantità di dati in tempi brevissimi limitando al contempo l’arbitrarietà dei decisori umani e migliorando la precisione e la qualità delle valutazioni, il tutto ad un costo molto inferiore[3].

Tuttavia questi risultati, al pari di quelli umani, possono avere un impatto sui diritti e le libertà dell’individuo. Per questa ragione implicano una serie di problematiche che, se trascurate, rischiano di amplificare anziché ridurre le discriminazioni presenti nella realtà odierna.

In questo quadro si inserisce il fenomeno del rischio di discriminazione algoritmica. Esso si fonda sulla constatazione che questi strumenti tecnologici possono avere un impatto negativo sui diritti fondamentali se non vengono adeguatamente regolati, poiché rischiano, ogni volta che i dati da cui apprendono sono incompleti o non corretti, di trasporre su modelli automatizzati di larga scala[4] le discriminazioni presenti nelle società.

 

In cosa consiste il rischio di discriminazione algoritmica?

La discriminazione algoritmica si realizza, come già sottolineato, quando nei sistemi di A.I. alcuni errori sistematici e ripetibili distorcono l’elaborazione dei risultati generando output discriminatori. A questo proposito, occorre evidenziare che gli algoritmi, pur essendo strumenti neutrali che si basano su calcoli oggettivi e razionali, sono comunque progettati da esseri umani e producono risultati sui dati da essi forniti. Per questo motivo è fondamentale la qualità dei dataset utilizzati, che devono essere sufficientemente completi e ampi da non ricreare i pregiudizi e le discriminazioni presenti nella realtà sociale.

Da questi bias si possono generare diversi tipi di discriminazione[5]. Ad esempio, le c.d. distorsioni del passato, che si realizzano quando i dati di input sono distorti per un particolare motivo, come il caso di un algoritmo di screening di curricula che si nutre di dati con un bias di genere.

Oppure, bias di correlazione (anche detto proxy discrimination), che si realizza quando avviene la correlazione di diversi insiemi di dati da parte di un algoritmo, come ad esempio associare il genere a una minore produttività a lavoro, non a causa di una relazione causale ma per un pregiudizio sociale (ad esempio, storicamente le donne sono state valutate negativamente rispetto agli uomini a parità di prestazione).

In base alla logica garbace in – garbage out, infatti, dati inesatti o non aggiornati non possono produrre altro che risultati inaffidabili. Nell’ambito del lavoro su piattaforme digitali, per esempio, è il caso del già citato Deliveroo, il cui algoritmo Frank adottava un sistema di profilazione dei riders altamente discriminatorio dal punto di vista dei parametri relativi alle cause di assenza da lavoro[6].

 

Come si inserisce nell’ambito del diritto antidiscriminatorio?

Inizialmente, la preoccupazione relativa all’utilizzo di sistemi di A.I. si è focalizzata sulla violazione di diritti specifici che possono derivare dall’utilizzo di tecnologie automatizzate, come ad esempio il diritto alla tutela della privacy e riservatezza[7].

Tuttavia, poco più tardi si è delineato il problema specifico del rischio di discriminazione algoritmica.

Nel nostro ordinamento, il divieto di discriminazione “classico” si configura come corollario del principio di uguaglianza, enunciato all’Art. 3 della Costituzione[8], nella parte prima riferita proprio ai principi fondamentali dell’ordinamento.

È a livello europeo che tale divieto acquisisce la connotazione specifica indagata in questa trattazione. Negli ultimi anni sono stati realizzati da parte delle istituzioni europee una serie di documenti che affrontano il tema del rischio di discriminazione algoritmica, fra i quali i più rilevanti sono:

• il Libro Bianco della Commissione Europea[9] e
• la recente Proposta di Regolamento sull’AI[10].

 

La discriminazione può consistere in due comportamenti differenti[11]: può essere diretta o indiretta. Per discriminazione diretta si intende il caso in cui una persona è trattata in un modo meno favorevole rispetto ad un’altra persona in una situazione comparabile, a titolo esemplificativo per ragioni quali sesso, razza, etnia, religione, orientamento sessuale, età e disabilità. Si definisce discriminazione indiretta invece la situazione in cui un criterio o una pratica apparentemente neutri mettono una persona in una posizione di svantaggio rispetto agli altri. Questa seconda tipologia è molto più sottile poiché può essere messa in atto in modo involontario e, proprio per questo motivo, può essere più difficile da individuare.

 

Alcuni esempi di discriminazione algoritmica

A questo riguardo, è utile citare alcuni esempi reali accaduti nell’ambito del lavoro su piattaforme digitali, che hanno evidenziato la presenza di discriminazioni indirette per quanto riguarda l’impiego di modelli di A.I. nell’ambito del lavoro.

Ad esempio, considerando Uber[12], la retribuzione dei lavoratori viene calcolata da un algoritmo che individua la somma utilizzando criteri come il tasso di disponibilità e la valutazione dei clienti; entrambi questi criteri possono essere soggetti a distorsioni a causa di stereotipi che creano disuguaglianza. Nell’esempio citato, il pregiudizio diffuso della non affidabilità delle donne al volante influenzava in una certa misura i clienti nella valutazione della loro guida e quindi determinava svantaggi nel calcolo delle loro retribuzioni.

Un secondo esempio riguarda le discriminazioni in fase di selezione: l’algoritmo usato da Amazon esaminava e classificava i dipendenti tramite un set di dati di addestramento che presentava i profili dei dipendenti assunti in passato. Sebbene il genere o l’etnia non facessero parte dell’insieme di variabili inserite nel modello, l’algoritmo  autonomamente correlava (proxy discrimination) queste caratteristiche alle prestazioni dei candidati. In conclusione, i dati finivano per riflettere le discriminazioni sociali presenti nel contesto sociale e amplificarle su un grande numero di individui[13].

 

Conclusioni: è possibile superare il rischio di discriminazione algoritmica?

Come è stato spesso affermato nella presente trattazione, l’alert è rivolto in via principale ai lavori in fase di programmazione ed elaborazione dei data set: gli algoritmi di A.I., se programmati correttamente, sono in grado di elaborare risultati efficienti concretamente in grado di semplificare i processi umani. Il problema sta nel cogliere i malfunzionamenti strutturali di questi sistemi non sempre facilmente visibili all’operatore, in quanto il rischio di discriminazione algoritmica si riferisce a pregiudizi e credenze che sono spesso radicate nel contesto sociale e sono individuabili solamente a seguito di un’attenta analisi imparziale ed informata.

La soluzione, dunque, potrebbe essere focalizzare l’attenzione sul lavoro umano di programmazione a monte e sul controllo degli output risultanti a valle.

A questo riguardo, la strategia UE si è dotata di un forte armamentario di cui la proposta di regolamento sull’A.I. è solo l’ultimo tassello in ordine temporale. Ad esempio, già in una comunicazione della Commissione europea del 2019 “creare fiducia nell’intelligenza artificiale antropocentrica”[14], veniva definito indispensabile l’intervento e la sorveglianza umana sui processi algoritmici come paradigma di riferimento per garantire un clima di fiducia e sicurezza nei confronti dell’A.I. e prevederne i risultati imprevisti.

In conclusione, il fine da raggiungere è la trasparenza, che si declina sia nella comprensibilità degli algoritmi più complessi agli individui, di modo da permetterne la supervisione; sia al fine di poter determinare le responsabilità in caso di problematiche. Se questi due requisiti sono presenti l’inevitabile corollario è la creazione di un clima di fiducia da parte degli individui che possono essere sottoposti a decisioni automatizzate, in ambito lavorativo come in altri ambiti della vita sociale.