Nuove tecnologie e questioni di genere. Una critica femminista dell’intelligenza artificiale

Ilaria Santoemma in dialogo con Marzia Vaccari

Le nuove tecnologie ci pongono da sempre sfide adattive e sociopolitiche, specialmente quando si parla di uguaglianza. Uno dei temi più caldi degli ultimi anni è proprio quello dell’intelligenza artificiale (IA) e delle occasioni che i più recenti sviluppi di questo campo di ricerca ci permettono di raggiungere in svariati ambiti dei saperi e delle prassi. I sistemi predittivi, il machine learning e la robotica hanno però fin da subito posto quesiti cruciali rispetto alla riproduzione di bias discriminanti, che rischiano di minare anche vocazioni più egalitarie dell’impiego dell’AI. Fra questi, l’asse di discriminazione sessista è stato indagato da una vasta letteratura. Marzia Vaccari, informatica e tecnologa, docente presso l’Università di Bologna, si è da sempre occupata del rapporto fra ICT e femminismo da diversi punti di vista: realizzativo, formativo e teorico.

I.S.:

Cominciamo con una domanda generale, per inquadrare un po’ la questione. L’informatico Ray Kurzweil, celebre rappresentante dell’ala transumanista[i] dei tecno-entusiasti, in un’intervista ha affermato “qualsiasi aspetto negativo del progresso tecnologico sarà superato di mille o diecimila volte in più dall’aspetto positivo.”[ii]. Usando una lente critica e una prospettiva di genere, cosa ne pensi di questa affermazione? Siamo pronte/i a ignorare i rischi derivanti da uno sviluppo tecnologico presuntamente neutrale per dei supposti benefici esponenziali?

M.V:

Questa domanda pone questioni molto vaste. Kurzweil è uno degli epigoni dell’ala transumanista e si riferisce all’avvento della cosiddetta singolarità, un’era che auspica una sorta di superintelligenza artificiale capace di coscienza. La sua è una posizione neutra ma universalizzante, una sorta di pensiero unico di quel milieu e di cui è importante non ignorare i rischi.  Usiamo il plurale: le IA sono tante e se non vogliamo ignorarne i benefici dobbiamo cominciare a ragionare nei termini delle intelligenze. Questo approccio critica la visione del logos algoritmico come verità assoluta tesa a sostituire una intelligenza umana fallace e inesatta. In questo caso l’AI ci offre tanti vantaggi, non ultimo quello in campo medico che ha permesso di sviluppare una medicina più attenta e personalizzabile. Il discrimine è quello di non inquadrare l’IA in un’entità metafisica e quindi neutrale o incontrollabile. Una critica radicale ad una IA neutrale riguarda l’automatizzazione del ragionamento. I nostri artefatti tecnologici sono permeati da questa automatizzazione, e in questo caso ha senso leggerne il rischio non sempre compensato dai benefici. L’automatizzazione, avallando un sistema di delega, tende ad assottigliare le forme creative e immaginative tipiche dell’umano. La lente del genere è invece quella che ci insegna a praticare la dis-automatizzazione, innanzitutto criticando la prospettiva unica, universalizzante e soprattutto neutra. Penso a Donna Haraway e al suo invito “dobbiamo pensare, pensare dobbiamo”[iii]. Io credo che si debba pensare il pensiero di queste IA e quindi il rapporto che l’umano agire ha con l’azione meccanicistica e automatizzata degli artefatti. Il reverse engineering dell’algoritmo, della sua realizzazione software e dell’IA accompagnato da uno sforzo cognitivo non neutro potrebbe dis-automatizzare l’attuale ragionamento procedurale a cui gli artefatti ci hanno abituato.

I.S.:

Parlando direttamente di IA, ci sono diversi aspetti che sarebbe interessante approfondire e che è impossibile esaurire qui. Una fra le cose più note però riguarda la progettazione e il conseguente contenuto con cui si “informa” l’algoritmo (training dataset), laddove questo stesso contiene bias di genere ed è poi scaturigine di output altamente sessisti. In che modo un approccio femminista sull’IA ne rileva gli aspetti critici?

 M.V.:

Vista la complessità del discorso è importante lo sforzo di sintesi. Possiamo tentare uno stratagemma per aprire delle finestre “femministe” di comprensione. Ad esempio, ricorrendo all’operazione di reverse engineering, uno strumento che ci permette analizzare, ripercorrere e smontare un artefatto come il software. In questo modo emergono due livelli d’indagare.

Il primo chiama in causa il progetto, formalizzato nell’algoritmo che è la messa in opera di tipo procedurale di un ragionamento a cui seguirà la realizzazione dell’artefatto attraverso il software.

Pensare l’algoritmo come un ragionamento procedurale significa precisare la distinzione fra pensiero dichiarativo e procedurale. Il primo riguarda il sapere cosa (nomi, significati, dati, regole). Il secondo riguarda il sapere come (modi e procedure attraverso cui eseguire compiti). Come fare è la domanda e nei fatti questa si può progettare; è qui che si innesta la critica tecnofemminista, perché il come si fa è operato da una tecnologia del pensiero unico di una scienza troppo spesso universalistica, appannaggio prevalentemente del genere maschile e spesso bianco, occidentale (soprattutto anglosassone e nordamericano) e agiato. La rappresentanza femminile nella professione dell’ingegneria dei software in termini globali oscilla dal 3 al 7%, e diventa il 27% solo negli Stati Uniti che è leader mondiale di ingegneria software[iv]. C’è un grande scarto di presenze nelle cosiddette discipline STEM, a causa del fenomeno che è stato definito “maschilizzazione” delle scienze dure.

Il bias di genere dipende dai modelli seguiti nella progettazione degli artefatti tecnologici che risentono della sotto-rappresentanza di genere in termini numerici ma anche in termini simbolici in quanto specchio di rappresentazioni stereotipate e piene di pregiudizi. Siamo di fronte al secondo livello di indagine, il cosiddetto dataset training, le informazioni che costituiscono i big data che noi produciamo e che informano l’intelligenza ed opera per parametri di comparazione e calcoli predittivi configurati dall’azione umana all’avvio del machine learning, l’apprendimento automatico dell’IA. L’immaginario culturale e sociale è intriso di discriminazioni di vario tipo che vengono riprodotte dall’IA. Un esempio ci viene dal riconoscimento delle immagini di una IA neutra che nel comparare più immagini, indicizza l’immagine di un uomo ai fornelli alla voce “donna”. L’indice deriva dall’associazione di cucina-pentola-cibo alla categoria “donna” perchè vi sono molte più immagini con questa che con l'”uomo”. Con il machine learning si riproduce un simbolico discriminatorio attraverso input genuinamente radicati nel sociale e nel politico e mediante l’elaborazione di molteplici equazioni di tipo statistico predittivo da parte delle macchine. Il problema è il riscontro sociale e politico e non di tipo tecnologico. Un altro esempio viene dai suggerimenti di parole dei motori di ricerca e nei traduttori online: i loro bias sono fondati proprio dall’ingegneria delle caratteristiche che funziona con questi enormi dataset non-neutri e sessisti.

Se l’IA avesse dei corpora di immagini indicizzate in altra maniera, si comporterebbe diversamente!

Possiamo però intrattenere con questi artefatti dei negoziati di significato non automatizzati, elaborabili e aperti, in qualche modo creativi.

I.S.:

È interessante rilevare come una critica femminista dell’IA ci palesi in che modo esistano bias che intersecano discriminazioni di genere col piano sociale ed economico. Mi ha molto incuriosita la tua prospettiva sulla “popolazione femminile consumatrice di tecnologia”[v].  Mi spiego. Quando si associa il “ruolo” delle donne ai vantaggi dell’AI, spesso si fa riferimento alla domotica, pensata per coadiuvare o sostituire alcuni lavori domestici, o ai meccanismi dove l’AI favorisce la seamless economy, ovvero l’economia senza soluzioni di continuità, in cui l’internet delle cose mette in connessione dispositivi di uso domestico che collegati a siti di e-commerce preposti – finora, soprattutto il colosso Amazon – automatizzano il sistema di spesa e consumi domestici. Se è vero che in parte questo modello presuppone uno sgravio del lavoro femminilizzato, allo stesso tempo pone quesiti cruciali in tema di uguaglianza. Sembra quasi che una IA a “portata di donna” sia prevalentemente mirata all’ambito riproduttivo (sociale, ad esempio) o a quello della performatività del genere, incastrando ancora di più le soggettività femminilizzate in un ruolo pre-definito. Approdo questo, molto lontano dalle prospettive tecno-femministe di autrici quali Judy Wajcman o Donna Haraway[vi], che fin dagli anni ’80 hanno invocato una forma di vita tecno-ibrida tesa a decostruire la marginalizzazione e la normalizzazione delle soggettività sessuate. Quali sono le tue opinioni al riguardo?

M.V.:

Diciamo che questa questione ha origine negli anni ’50 e ’60 con la famosa maschilizzazione della professione da un lato e con quella che viene chiamata la democratizzazione della tecnologia dall’altro. Mi spiego meglio. Il computer, ad esempio, diventa computer di massa nel momento in cui le famose programmatrici dell’EINAC inventano il compilatore e riescono ad automatizzare la produzione del software che non solo viene sganciato dall’hardware ma permette ai non addetti ai lavori di poterlo utilizzare. Il simbolico neutro si appropria di questa operazione e l’elenco di geni tutti maschili segnerà la storia dell’informatica con una netta divisione fra gli esperti, cioè ingegneri e programmatori, e consumatori di tecnologica. Qui gli assi differenziali di potere che di volta in volta fino ai giorni nostri si ingenerano, fanno sì che la popolazione femminile sia considerata consumatrice e non produttrice di artefatti. L’informatica di massa segue l’evoluzione dei consumi e del mercato. Per poter commercializzare le stesse IA si sono individuate le donne come maggiori consumatrici della seamless economy, che è la fascia di mercato che più acquisterebbe questo tipo di artefatto per sgravarsi da fatiche domestiche. La differenza di genere viene così amplificata. Come bene dici tu incastrando ancora di più le soggettività femminilizzate in un ruolo pre-definito. I progettisti non considerano l’impatto del loro lavoro sulla società e di conseguenza il problema diventa culturale e di assi differenziali di potere. Il punto è che è molto faticoso prendere in mano un cellulare e pensare che per farne una critica si potrebbe ricorrere al femminismo. Certamente la centralità del corpo e il materialismo tipico del pensiero femminista è fondamentale; queste tecnologie non sono lontane dal corpo fisico. Insisto nel dire che se consideriamo questi artefatti – certo dotati di luci e ombre – come dotati di una ben precisa materialità altra da noi umani e pratichiamo una relazione più attiva, avremo da avvantaggiarcene tutte/i. Sia chi progetta, che noi, essere umane, perché è indubbio che avremo sempre più bisogno di macchine e delle loro capacità di elaborazione delle complessità. Ecco perché i femminismi devono entrare in questo dibattito e  “sporcarsi le mani” per il beneficio di tutte/i. Donna Haraway mi è sempre stata di ispirazione quando bacchetta le teoriche del femminismo. In Manifesto Cyborg scrive “Siamo finite con una scusa in più per non imparare la fisica del dopo Newton e con una ragione in più per abbandonare la vecchia pratica femminista del “fai da te” per accomodarci da sole la macchina. […]Abbiamo bisogno, per costruire una scienza successiva, del potere delle teorie critiche su come significati e corpi vengono costruiti, non a scopo di negare significati e corpi ma per costruire significati e corpi che abbiano un futuro[vii]”.

 I.S.:

Haraway del resto, è sempre stata una scienziata! Eppure ci invita sempre verso la prospettiva delle/dei più marginali e dominati. Tutto ciò mi fa pensare ad esperienze come quelle del Gruppo Ippolita[viii]. Ecco perché un’ultima breve domanda: è dunque possibile pensare una IA femminista?

M.V.:

Assolutamente sì. Dalle teorie della decostruzione e del posizionamento dei femminismi possiamo rintracciare utili metodologie come quelle delle tecniche del reverse engineeering. Con questa pratica possiamo rimodulare anche le IA. Con l’aiuto della linguistica, della sociologica, della filosofia, della prospettiva di genere possiamo entrare dentro al software. In questo modo si apre uno spazio creativo con cui poter “rimontare le cose” (tanto il software che gli algoritmi) e fare in modo che parlino un’altra lingua e veicolino altri simbolici; ciò determina quindi anche relazioni con gli umani di altro tipo. Avremo bisogno di grandi seminari di “software studies”! È necessaria una teoria critica del software. Ti lascio con un esempio a cui ho lavorato e a cui sto ancora lavorando, ovvero un motore di ricerca di genere. La “cercatrice di rete” è un search engine – una macchina – in grado di discernere e suggerire più voci, non solo quelle neutrali o comuni, restituendo quelle miriade di saperi, di soggettività o di aspetti e che di solito non emergono nella SERP di Google. Nell’evoluzione della tecnologia in quanto artefatto, informatico o algoritmico, c’è sempre una materialità che può interpellare altri significati che dipendono dagli spazi di libertà e di creatività che saremo in grado di generare.

 Ilaria Santoemma è dottoranda di ricerca presso la Scuola Superiore Sant’Anna di Pisa e membra del PRI (Posthuman Research Institute) presso la Brock University, Canada. I suoi principali interessi si rivolgono alla filosofia politica e della tecnologia in prospettiva di genere e femminista.

Marzia Vaccari, docente di “Media digitali e genere” all’Università di Bologna. Si occupa del rapporto delle differenze di genere con la tecnologia da diversi punti di vista: realizzativo, formativo e teorico. Fautrice di una teoria critica femminista delle ICT da alcuni anni si occupa di IA e altre soggettività.

————————–

[i] Il Transumanesimo è una frangia di pensatori, tecnologhi, scienziati, ideologi tecno-entusiati i quali fondano le loro teorie, ricerche ed obbiettivi su una visione escatologica della tecnologia. In particolare il loro presupposto è quello secondo cui gli avanzamenti tecnologici di tipo esponenziale saranno in grado di superare i confini dell’umano per come lo conosciamo oggi, riscrivendo i limiti di mortalità, intelligenza, evoluzione.

[ii] Da un’intervista di Robert Frodeman in Transhumanism, Nature and the Ends of Science, Routledge: New York, 2019, p.IX.

[iii] L’intervistata si riferisce qui a un passo di D. Haraway, Chtulucene. Sopravvivere su un pianeta infetto, Nero Edizioni, 2019.

[iv] Fonte Evans Data Corporation, nel 2019 c’erano 26,4 milioni di sviluppatori di software nel mondo di cui 4,2 milioni negli Stati Uniti che detengono la leadership di questi sono donne solo 27.5 %. A livello globale il numero di donne impiegate nello sviluppo software non raggiungono il 3% per altre fonti statistiche l’8%.

[v] AI, una critica femminista, Almagulp, 10 Settembre 2018; https://www.almagulp.it/questione-di-genere-artificial-intelligence/09/2018/;

[vi] Ci riferiamo qui a testi quali: Technofeminism di Judy Wajcman (Polity Press, 2004) e Testimone Modest@ femaleman incrontra oncotopo (ed. ita Feltrinelli, 2000) e Manifesto Cyborg (II ed. ita Feltrinelli 2018) di Donna Haraway.

[vii] Haraway Donna J. (1995), Manifesto cyborg. Donne, tecnologie e biopolitiche del corpo, Feltrinelli, Milano

[viii] https://www.ippolita.net/chi/;

[ix] Search Engine Results Page (acronimo SERP) è la pagina dei risultati del motore di ricerca.