Potremmo non essere stupite dalla notizia che il bordello delle bambole sex (1) di Torino è stato chiuso per attività illecita di affitta camere. Forse l’agenzia, che in pochi giorni aveva registrato il tutto esaurito, sapeva bene che siamo in un’epoca di finzioni e, dietro l’illusione e l’innocente gioco di far l’amore con una “bellissima donna di plastica”, nascondeva un vero e proprio albergo a ore per appuntamenti con ragazze reali magari reclutate illegalmente e mal pagate. Credo invece che possa suscitare stupore scoprire che, a volte, le promesse di molte istanze di “intelligenza artificiale” sono esibizioni artificiali del suo potere e potenziale realizzativo.
Vorrei proporre una visione atipica, attorno al rapporto dell’agire umano con le macchine informatiche, attraverso un’escursione nell’ambito della produzione degli algoritmi. Ho già detto degli innumerevoli sgravi cognitivi – nonché sgravi fisici – quando ogni giorno utilizziamo le App del nostro smart phone. È fuor di dubbio che gli “automi” altrimenti dette macchine intelligenti ci stanno aiutando in moltissimi ambiti della nostra esistenza. Qui vorrei insistere su una delle loro peculiarità: gli algoritmi, le procedure che guidano il software nello svolgimento delle attività previste, agiscono in autonomia. Fissato l’input (insieme di dati in ingresso) e l’output (risultati in uscita) la macchina informatica compirà le operazioni previste dal progetto (algoritmo) per cui è stata programmata (App), autonomamente e senza nessun intervento manuale, nel gergo della programmazione del software. L’incredibile evoluzione di questa autonomia soprattutto volta all’alleggerimento dello sforzo umano nella progettazione e programmazione del software ha comportato la realizzazione di algoritmi che permettono alle procedure di integrare al loro interno altri algoritmi. Questo fenomeno, il famoso machine learning, è attualmente considerato la base dell’Artificial Intelligence.
Esercitando per molti anni la professione di analista informatica, ho avuto esperienza che purtroppo la realizzazione tecnica (software) di una funzione cognitiva umana spesso si rivela condizionata da logiche di mercato che non lasciano spazio e tempo alle “necessarie” fasi di produzione del software. Ci vuole tempo anche solo per stilare l’elenco dei vari step: studio, progettazione, realizzazione del codice, documentazione, test degli algoritmi. La qualità del software prodotto non è considerata e pur di rispettare scadenze e promesse funzionali si ricorre a escamotage di dubbia provenienza, il più frequente è quello di far eseguire ad umani le routine problematiche in attesa di trovare soluzioni automatizzate. La funzione cognitiva promessa dall’algoritmo potrebbe essere realizzata solo dopo un’attenta ri-progettazione e ri-programmazione. Spesso non ci sono le risorse economiche per farlo, il software non viene ritirato e rimane in produzione ammantato da un alone di mistero (black box) reso possibile dal regime della finzione (2).
Finalmente molte ricerche stanno cercando di capire le conseguenze reali di algoritmi di scarsa qualità, progettati male e ideologici. Cathy O’Neill, studiosa di big data e computer science, nel suo recente libro “Armi di distruzione matematica” (3) affronta questo tema dimostrando con ricchi esempi come le diseguaglianze e i pregiudizi possono concretizzarsi nell’output di molteplici software impiegati nella selezione del personale scolastico, nella selezione dei profili per i sussidi e l’assistenza sociale. Le conseguenze reali di algoritmi di scarsa qualità, progettati male e ideologici possono riguardare le diseguaglianze sociali e i pregiudizi razziali e di genere. I case studies presentati nel testo appartengono alla vita di ognuno di noi. Algoritmi che giudicano insegnanti e valutano l’operato dei lavoratori, concedono o negano prestiti, influenzano gli elettori. Algoritmi che assumono grande importanza ed espongono le persone, secondo Cathy O’Neil, al rischio della discriminazione algoritmica se non si favoriscono modelli matematici più equi ed etici.
Gli algoritmi calcolano una nuova forma di società, quella dei comportamenti (indotti e/o previsti?) ed abbiamo sempre più consapevolezza del fatto che non sono semplici strumenti tecnici neutrali. In questo senso si conferma la famosa teoria che considera la tecnologia neutra ma non neutrale. Affermazione ambigua? è sul versante del come vengono prodotti e realizzati gli algoritmi che riscontriamo l’opacità e la non neutralità della scienza informatica. E permettetemi di citare il lavoro compiuto dal prototipo del motore di ricerca Cercatrice di Rete, oggi purtroppo non più accessibile. Era un search engine non neutro, ma esplicitamente femminile. Un esempio? Se cerco «violenza» su Google, trovo una serie di risultati in diversi ambiti: notizie di cronaca, la definizione su Wikipedia, articoli sulla violenza contro le donne e sul bullismo a scuola. Se digitavo la sessa parola nella maschera della Cercatrice, comparivano suggerimenti (parole) quali: femminicidio, sessismo, movimento delle donne, che facevano emergere fonti altrimenti irrilevanti al ranking dell’algoritmo di Google. Seguendo la “diversa narrazione” dei suggerimenti di Cercatrice, i risultati della ricerca si rivelavano essere molto differenti dalla SERP di Google. Ovvero: siti di aiuto e informazione sulla violenza contro le donne e gli stupri ma, soprattutto, la diversa narrazione che i femminismi hanno fornito sull’argomento. Nessuna black box dentro il prototipo solo un accurato lavoro di “linguistica applicata”, che permetteva di insegnare alla macchina il linguaggio della differenza di genere utilizzato nei suggerimenti alla ricerca (4).
Torniamo ad analizzare uno degli aspetti meno noti delle manifestazioni prodotte dallo scarto fra intenti progettuali del software ed effettive realizzazione pratiche, mi riferisco all’interazione diretta fra chi utilizza App, piattaforme e search engine e la black box dei dispositivi informatici. Per intenderci, il misterioso algoritmo del news feed di Facebook o l’insieme degli algoritmi (oltre 200) del page rank di Google. Non si conoscono bene i meccanismi di funzionamento, non ha importanza come l’App riconosce il nome botanico delle piante riprodotte nelle nostre meravigliose fotografie. La tecnologia alla base del riconoscimento delle immagini (corrispondenza fra immagine e nome) si fonda sulle indicazioni trovate dal codice Tag e uno dei lavoretti umani più diffusi in Rete – il famoso clikwork – è proprio quello di “inserire” queste indicazioni e di “cancellare” dai Data Base le immagini pornografiche taggate impropriamente. Ed è dall’analisi dei nuovi lavori che scopriamo il largo uso, da parte di aziende produttrici di software, di “lavoro” cognitivo umano anonimo e sottopagato e, aggiungo, di genere femminile (5) per simulare e far credere di avere a che fare con una AI. In un recente articolo (6 agosto 2018) (6) J. Sadowski parla di effetto Potemkin AI delle esibizioni artificiali del potere e del potenziale di molte istanze di “intelligenza artificiale”.
Potemkin era il nome di un ministro russo che, per mascherare il vero stato delle cose, costruì villaggi falsi per impressionare l’imperatrice Caterina II e per questa via ottenere nuovi finanziamenti. Definito come un modo di costruire e presentare sistemi AI, secondo J. Sadowski esiste una lunga lista di servizi che pretendono di essere alimentati da un software sofisticato, ma in realtà si basano su esseri umani che agiscono come robot.
Nello studio del ricercatore è impressionante la descrizione dell’ampio sistema di sorveglianza in Cina. Lo stato, con milioni di telecamere nelle città cinesi, sta cercando di aggiornare l’analisi dei feed con l’intelligenza artificiale e il riconoscimento facciale. Il sistema può identificare automaticamente le persone e persino punire i criminali. Aspettative della polizia che spera, un giorno, saranno realizzate automaticamente dall’IA, ad oggi gestiti da gruppi di umani che selezionano le foto e i dati manualmente e li inseriscono nella piattaforma software. Le autorità cinesi hanno intrapreso una campagna per persuadere la gente che lo stato di sicurezza high-tech è già in atto. Se il carattere illusorio generato da innumerevoli App è facilmente smascherabile perché spesso smettono di funzionare, ma questa è un’altra questione, è più complicato disinnescare la suggestione generata dallo stato di sorveglianza cinese in quanto fondata sull’effetto panottico, di foucoltiana memoria, dove la relazione di potere fra sorvegliante e sorvegliato non è oggetto di negoziati.
Vi è anche un altro effetto Potiomkin AI che mi preme portare alla vostra attenzione. Le dinamiche e l’organizzazione degli esseri umani che operano nell’ombra delle black box. L’indagine realizzata da Moshe Z. Marvit (7) ha svelato, nel 2014, l’inganno di una delle più notevoli e sinistre innovazioni introdotte nell’organizzazione del lavoro contemporaneo. L’ambiente di Amazon Mechanical Turk (MTurk), in funzione dal 2005, è un servizio internet di crowd working (letteralmente folla che lavora) che permette ad aziende, enti e singoli individui (conosciuti come requester) di coordinare l’uso di intelligenze umane per eseguire compiti che i computer, a oggi, non sono in grado di fare. È la possibilità di contattare un vasto numero di lavoratori per far sì che un lavoro venga svolto senza vincoli di spazio e di tutele. Su MTurk, ogni progetto è diviso in micro compiti: taggare una singola foto da un migliaio fatte in vacanza, controllare gli errori di battitura di una singola frase di un romanzo, identificare gli artisti in un cd musicale, le migliori fotografie di un negozio, la scrittura delle descrizioni di un prodotto. I compiti sono svolti da lavoratori chiamati Turkers definiti da Amazon lavoratori “artificial artificial intelligence”. Ogni pezzo di lavoro si chiama HIT, acronimo di Human Intelligence Task.
Come descrive molto bene la studiosa del lavoro digitale Lilly Irani, MTurk è fatto per mascherare i Turk’s, disumanizzando la piattaforma. Le procedure software e il design intelligente che “simula” interazioni uomo-macchina molto sofisticate inducono a credere di essere di fronte ad una Intelligenza Artificiale autonoma dalle intenzioni degli umani. MTurk organizza un’alta percentuale di lavoro tecnico-informatico rendendolo invisibile e, scrive L. Irani, è l’attività e gli obiettivi del titolare del progetto software (Committenti) , spesso sconosciuto, che detengono il potere della transazione. Sono i nuovi datori di lavoro che, attraverso la piattaforma e le sue interfacce, possono comandare le persone avvalendosi di una macchina che normalizza e penalizza il lavoro vivo.
Dopo MTurk, sono nate altre piattaforme fra cui Clickworker, 99Designs, Testbirds, Crowdflower e Crowdsource. Tutte largamente impegnate nelle operazioni che una volta sembravano impossibili da far svolgere a piattaforme software sono improvvisamente rimpiazzate dal crowd – più economico, veloce, potenzialmente più accurato, e accessibile 24 ore al giorno. Uno dei lavori peggiori in cui molti si imbattono è la moderazione dei contenuti. Pornografia minorile, corpi mutilati, abuso sugli animali, omicidi e altre immagini ripugnanti, che sono segnalate su siti web come Facebook, Youtube o Flickr, si sono spostati verso aziende di paesi dove significa fare un grosso affare aggiudicarsi il contenuto di queste segnalazioni. Dunque anche l’inserimento dati è largamente impiegato dalle piattaforme di crowdwork – lavoro condiviso – e sono soprattutto le società di marketing ad utilizzarle per i loro sondaggi. La visione del mondo della “quinta Silicon Vally”(8) mira a istituire una gestione automatizzata del mondo attraverso sistemi algoritmici che permettono margini di profitto virtualmente infiniti. In questo orizzonte di significato si dequalifica l’agire umano, ritenuto fallace e inefficiente, per un essere computazionale giudicato superiore.
Il lavoro congiunto di Lilly Irani e di Six Silberman (9), è per me particolarmente prezioso sia per il riferimento a Donna Haraway e alle teorie critiche alla scienza e alla tecnologia dei femminismi. Sia per essere uno dei primi esempi di pratica politica digitale resiliente sul nuovo sfruttamento del lavoro vivo: hanno sviluppato un plugin – Turkopticon – e una mailing list che permette ai “artificial artificial intelligence” di uscire dall’isolamento e di costituire una rete di relazioni che combatte lo strapotere dei Committenti disonesti.
E’ tempo di grandi preoccupazioni per il prossimo futuro. Dal mio osservatorio di analista informatica e di tecnologa femminista da molti anni vado dicendo che è la relazione con i dispositivi software che deve cambiare. Le macchine informatiche in quanto tali non sono Google, Facebook o Amazon, dietro quelle macchine ci sono migliaia di programmatori e programmatrici di software che hanno realizzato fisicamente gli algoritmi. Serve una diversa consapevolezza su usi e realizzazioni pratiche del software. Chi progetta e programma i dispositivi potrebbe essere più sensibile alla teoria critica dei media e alla conoscenza di materie umanistiche. Dalla storia, dalla filosofia e dalle posizioni critiche potrebbero acquisire strumenti per negoziare i nuovi differenziali di potere. In questo modo potrebbero cambiare il «mondo” perchè, a questo punto, sembra che solo loro possano farlo!
___________________
(1) da TGCOM24 Torino, i vigili chiudono la prima casa dʼappuntamento con sex doll.
(2) Marzia Vaccari, Finto lavoro. Finta intelligenza, nel blog Almagulp.it
(3) Cathy O’Neil, Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia, saggi Bompiani, 2017.
(4) Marzia Vaccari, “Tecnologia neutra ma non neutrale” in Tecnologie di genere (a cura di Patrizia Violi e Cristina Demaria), Bononia University Press, 2008.
(5) Marzia Vaccari, Intelligenza artificiale, una critica femminista, nel blog Almagulp.it
(6) J. Sadowski, Potiomkin AI, in Real Life magazine.
(7) Moshe Z. Marvit, Come gli operai-folla sono diventati i fantasmi della macchina digitale, in∫connessioni precarie.
(8) Eric Sadin, La silicolonizzazione del mondo. L’irresistibile espansione del liberismo digitale, Einaudi Passaggi, 2018.
(9) Lilly Irani e Six Silberman, Turkopticon: Interrupting Worker Invisibility in Amazon Mechanical Turk.
(10) SERP:: locuzione inglese di Search Engine Results Page > pagina dei risultati di ricerca.
