Donne e Regine – Uomini e Re: maschi e femmine.
I Transformer hanno rivoluzionato il campo dell’intelligenza artificiale, diventando l’architettura alla base dei più avanzati modelli di linguaggio. Ma qual è il principio di funzionamento dell’algoritmo Transformer? Cercheremo di comprenderlo ripercorrendo le tappe della sua creazione. Nel 2013 Google libera una rete neurale artificiale su un corpus di tre milioni di parole tratte dai testi di Google News. L’obiettivo della rete neurale era cercare schemi regolari nel modo in cui le parole appaiono una accanto all’altra. Dal lavorio della rete nello spazio geometrico è emerso che si potevano rappresentare questi modelli utilizzando la loro rappresentazione digitale in vettori.
Con circa 300 dimensioni/parametri fu trovato un modello predittivo delle relazioni tra le parole che Google Traslate poteva catturare e utilizzare nello svolgere il lavoro di traduzione e in questo modo ottenere sostanziali miglioramenti nei traduttori automatici.
L’efficacia del modello predittivo sembra dipendere dal numero di parametri e dai token presi in considerazione (nell’analisi lessicale, un token è la scomposizione di un’espressione linguistica, in questo caso in parole o sillabe).
La tecnologia si è talmente evoluta che i vettori arrivano a ricomprendere fino a circa 1.600 miliardi di parametri con Gemini Ultra, l’attuale modello linguistico di Google (successivo al BERT del 2018). Tramite un processo di pre-addestramento generativo su vaste masse di dati nativamente multimodali (testo, audio e visione, con successivo fine-tuning per ogni specifico compito) arriva a trattare una finestra di contesto di milioni di token.
Dall’ingegneria delle caratteristiche (qui si può trovare chi ne ha stabilito il fondamento scientifico) e dalla disponibilità di enormi depositi di dati nasce Transformer, un modello di deep learning che è composto principalmente da un encoder, che prende in input una sequenza di parole trasformandole in una rappresentazione ad alta dimensionalità di un insieme di dati composti da tutte le parole inserite nel prompt, e da un decoder, che assume in input la rappresentazione prodotta dall’encoder e la traduce in una sequenza di parole per l’output. L’immagine di apertura del presente articolo mostra l’infografica del suo funzionamento.
Anche GPT-4o (il modello linguistico di punta di OpenAI, utilizzato da ChatGPT) si basa su un’architettura Transformer evoluta di questo tipo. Questo approccio lo rende estremamente potente ed efficiente nell’elaborazione rapida di input complessi. Sebbene OpenAI non abbia rilasciato pubblicamente il numero esatto di parametri, le sue prestazioni avanzate derivano da un modello addestrato su una scala enorme, stimata anch’essa nell’ordine del trilione di parametri (10^{12}), che ha permesso a GPT-4o di unificare le capacità di testo, visione e audio in un unico modello coerente.
Linguistica computazionale
Queste tecniche elaborano i testi, ma anche immagini e audio, tenendo conto della struttura semantica “latente” del vocabolario usato nel corpus. Come?
Utilizzando l’ipotesi distributiva della linguistica computazionale: le parole che ricorrono in contesti simili tendono ad avere significati simili.
La macchina attraverso la rete neurale artificiale impara a incorporare un certo termine usando le parole vicine nel testo di input (prompt), nel caso visto in precedenza gli articoli di Google news.
Attualmente (2025) il corpus di addestramento di Gemini Pro è stimato essere nell’ordine di centinaia di Terabyte o addirittura di qualche Petabyte (1000 TB), il che riflette l’integrazione di dati proprietari Google e corpora pubblici multimodali (1). Anche chatGPT-4o è pre-addestrato su oltre un petabyte di dati e centinaia di miliardi di parole, e il database di riferimento è gigantesco: oltre a Wikipedia e Google Books, includono: CommonCrawl: è una crawl (raccolta) massiva e pubblica del web che comprende miliardi di pagine web. È la fonte principale per gran parte del contenuto testuale grezzo dei modelli linguistici. WebText2 (o dati web simili filtrati): Una vasta raccolta di testo proveniente da Internet, ma sottoposta a un rigoroso filtraggio di qualità (TAB. 1).
Se il testo presenta “Parigi”, “Francia” e “Tokyo” sicuramente la parola che l’AI prevede possa seguire queste è “Giappone”. Emergono anche altri tipi di relazioni ad esempio l’uomo sta al re come la donna sta alla regina e altre relazioni come “sorella: donna :: fratello: uomo” e così via. Queste relazioni sono note come incorporamenti di parole. In base a questa semplice regola vengono etichettati i vettori di parole che saranno utili nel momento della generazione di nuovo testo. Secondo Tolga Bolukbasi della Boston University la modellizzazione di set di dati in questo modo è estremamente potente, ma può diventare palesemente sessista. Il genere ha origine da un simbolico che marca la differenza sminuendola. La figura 2 è utilizzata in moltissimi esempi pratici per descrivere il funzionamento delle reti neurali artificiali in corrispondenza della capacità di un algoritmo di distinguere semanticamente le parole e viene descritta Tolga Bolukbasi in questo modo:
La figura mostra come l’addestramento di questo tipo di rete rileverà alcune features semantiche. Per esempio, in questo caso puoi vedere che esiste un vettore che collega l’uomo alla donna e un altro tra re e regina, il che significa che la donna meno l’uomo sarà uguale alla regina meno il re. Si ottiene la stessa distanza in questo embedding [parola incorporata in un vettore] applicato a casi come “maschio-femmina”.
Per differenza la parola “femmina” viene definita come “non-maschio” e per l’ipotesi distributiva della linguistica computazionale, vista in precedenza, si può utilizzare per algoritmi predittivi del tipo: la relazione fra la parola maschio con femmina è uguale alla relazione della parola governatore con la parola governante (domestica), in questo modo l’algoritmo assegna il genere femminile alla professione della domestica.
Dallo spazio vettoriale l’AI scopre una relazione fra parole che è del tipo: re = uomo ne consegue che regina = donna. Alla stessa maniera se chiediamo all’AI di ricavare la x dalla relazione “padre sta a dottore come madre sta a ?” quindi padre = dottore madre = infermiera. E la query “uomo: programmatore di computer :: donna: x” restituisce x = casalinga.
In altre parole, la parola incorporata [word embedded] può essere indubbiamente sessista. Ciò accade perché qualsiasi bias negli articoli che compongono il corpus del set di dati viene inevitabilmente catturato nella geometria dello spazio vettoriale. Nel caso di Google News, e aggiungo di Wikipedia inglese, Bolukbasi e il suo gruppo dicono Si sarebbe potuto sperare che l’incorporamento di Google News mostrasse pochi pregiudizi di genere perché molti dei suoi autori sono giornalisti professionisti ma l’algoritmo rende visibile l’invisibilità del pregiudizio amplificandolo.
Qualsiasi pregiudizio contenuto nei set di dati viene automaticamente trasmesso a qualsiasi applicazione che lo sfrutti. Un esempio è il lavoro che utilizza gli incorporamenti per migliorare i risultati della ricerca sul Web. Se la frase “programmatore di computer” è più strettamente associata agli uomini che alle donne, la ricerca del termine nei “CV dei programmatori di computer” potrebbero classificare gli uomini nei primi posti della SERP penalizzando i CV delle donne.
I vettori pensiero.
Le nostre argomentazioni potrebbero essere riviste con la diffusione dei modelli linguistici di grandi dimensioni (MLL) per raffinare la tecnica delle parole incorporate attraverso i vettori pensiero, rappresentati in 3D. BERT e ChatGPT dovrebbero essere in grado di allenare l’AI a capire meglio il contesto della frase, che è un modo per disambiguarne il significato. La Rete neurale artificiale legge contemporaneamente la sequenza di parole inserite apportando continui aggiustamenti per prove ed errori, in avanti e indietro e man mano che i propri nodi riconoscono la correttezza di una frase. Un modello linguistico addestrato in questo modo può avere un senso più profondo del contesto e del flusso linguistico rispetto ai precedenti modelli linguistici. In questo modo BERT e ChatGPT sembrano essere in grado di comprendere il contesto ed il senso delle parole e delle frasi che l’utente voleva dare in quel determinato contesto.
Il comportamento sia del search engine sia delle traduzioni di Google è cambiato notevolmente ed ora anche con chatGPT, AI generativa o conversazionale, possiamo apprezzare un raffinato modo di giocare al completamento delle frasi. Tuttavia per ChatGPT è necessario scrivere molto bene le frasi perchè per il modello il suggerimento è fondamentale. Aiuta l’IA a comprendere l’argomento o il contesto del testo da generare, a volte migliorando la capacità predittiva, altre volte peggiorandola e solo nel tempo potremo capirne fino in fondo la fenomenologia di questo straordinario sistema.
Per ora anche con l’approccio dei modelli linguistici di grandi dimensioni il bias algoritmico è ancora all’opera. Nonostante l’architettura, la potenza elaborativa e la finezza della Neural Machine Traslator, lo schema interpretativo all’origine del bias di genere non viene superato perché l’impianto semantico alla base del modello algoritmico definisce la posizione per differenza della donna e delle altre differenze nella lingua parlata e scritta.
Per tornare all’esempio mostrato qui, la sfortunata traslazione del pronome personale dall’inglese nella lingua italiana diventa sempre maschile ed ha origine nell’impianto semantico dell’immaginario dei set di dati – tutti in lingua inglese e poi tradotti automaticamente – e del livello metaforico che si traduce in bias algoritmico perché l’allenamento dell’IA è sicuramente viziato all’origine nel set di dati e nell’architettura dei parametri di classificazione. Comunque possiamo ben sperare perché il problema potrebbe essere risolto con altri set di dati e con l’utilizzo di una metodologia “gender oriented” che superi la retorica antropocentrica dei BIG DATA e contrasti il potere estrattivo delle piattaforme del software finalizzato alla pubblicità personalizzata e, con il fenomeno di chatGPT, a renderci tutti dei Beta Tester. Nonostante gli alti costi realizzativi chatGPT è gratuito, proprio per promuovere un vasto coinvolgimento di noi umani che testiamo così le sue funzionalità in condizioni reali; quale miglior modo per scoprire i suoi possibili impieghi! Ma questa è un’altra storia ancora.
(1) Gemini stesso dichiara ”
Il training set di Gemini Pro (il modello AI di Google) è un corpus massivo e multimodale, tenuto riservato ma strutturato su fonti diversificate. Include:
- Dati Proprietari Google: Contenuti enormi e curati provenienti da servizi Google, come Google Books, porzioni estese del codice interno di Google e il contenuto indicizzato da Google Search.
- Dati Multimodali: Set di dati giganteschi di immagini e video (probabilmente da YouTube e Google Immagini), cruciali per la sua natura nativamente multimodale.
- Corpora Pubblici/Accademici: Vaste sezioni di Wikipedia (in molteplici lingue), corpora di codice open-source (es. GitHub) e una grande collezione di pubblicazioni scientifiche e rapporti di ricerca.
- Web Curato: Crawl di dati web massivi, intensamente filtrati per garantire qualità ed eliminare contenuti di basso valore o bias.
