ChatGPT in un vicolo cieco: errori folli e inaffidabilità. Quando sbaglia, ChatGPT sbaglia di brutto. Per esempio può dire cose assolutamente ridicole e quando gliene chiedi conto, mente. Questo difetto è “fatale”, afferma Larson. Non si possono affidare a ChatGPT compiti cruciali, perché non si può prevedere in anticipo quando fallirà.
Queste sono le opinioni che circolano. Desideroso di un approccio a ChatGPT serio, lontano dai luoghi comuni, ho chiesto a Erik J. Larson di parlare nella mia scuola, lo Stevens Institute of Technology. Larson è l’autore del saggio pubblicato nel 2021 The Myth of Artificial Intelligence: Why Computers Can’t Think the Way We Do, (Harvard University Press, da poco pubblicato in italiano da Franco Angeli), che esplora i limiti dell’intelligenza artificiale. Larson analizza la tecnologia anche nella sua eccellente newsletter Substack Colligo.
Larson è un critico militante. Formatosi in informatica e filosofia, ha fondato due società di intelligenza artificiale supportate dalla Defense Advanced Research Projects Agency, Darpa. All’inizio degli anni 2000 ha lavorato come “ingegnere ontologico” (Larson ora sorride al titolo) presso Cycorp, una delle prime aziende dedicate alla costruzione dell’intelligenza artificiale con conoscenze generali e basate sul senso comune. Leggi di più
CHATGPT È FANTASTICO!
ChatGPT ha colto di sorpresa Larson e, sospetta, i suoi progettisti di Open AI. Si tratta di un cosiddetto programma in linguaggio naturale, in grado di conversare su una vasta gamma di argomenti. Può facilmente superare il test di Turing, a meno si sappia come farlo inciampare.
“È una tecnologia molto potente”, afferma Larson. “Non avremmo potuto riprodurre quel tipo di capacità di conversazione nemmeno dieci anni fa.” ChatGPT supera gli ostacoli legati all’elaborazione del linguaggio che Larson, in The Myth of Artificial Intelligence, aveva previsto non sarebbero stati risolti presto.
MA CHE COS’È IL SENSO COMUNE?
Quando Larson iniziò la sua carriera, credeva che i programmi di linguaggio naturale veramente intelligenti avrebbero richiesto una forma di ragionamento chiamata “abduzione” (NdR nella logica formale “abduzione” è un sillogismo in cui la premessa maggiore è certa, mentre la premessa minore è probabile, per cui anche la conclusione è solo probabile).
Inizi con un’osservazione, la strada è bagnata e deduci una causa, ha piovuto.
Ma ci sono altre possibili cause oltre alla pioggia. Forse una cisterna d’acqua ha accidentalmente scaricato il suo carico. Forse i bambini giocavano con le pistole ad acqua. Forse un’auto è passata sopra un idrante. Il ragionamento abduttivo, attraverso il quale si sceglie la causa più probabile, richiede una conoscenza ampia e generalizzata, ovvero il buon senso.
“È necessario un modello di come funziona il mondo per capire cosa è plausibile e cosa non è plausibile”, spiega Larson. Bisogna sapere cos’è l’acqua, da dove viene, come si comporta e così via. Programmare questo tipo di conoscenza generalizzata in un computer è arduo ma inevitabile, se si vuole costruire una macchina con l’equivalente del senso comune umano. Così supponeva Larson.
IL MACHINE LEARNING È MERAVIGLIOSO, MA…
C’è sempre stato un altro approccio ampio all’IA: l’induzione (NdR. Procedimento logico, opposto a quello della deduzione, per cui dall’osservazione di casi particolari si sale ad affermazioni universali (o, nella statistica, alla formulazione delle regolarità statistiche). Base dell’apprendimento automatico, l’induzione trae conclusioni sul presente basandosi su ciò che è accaduto in passato. “L’induzione sostanzialmente dice che ciò che vedo nel passato mi dà probabilità su ciò che dovrei dedurre in futuro.”
All’inizio degli anni 2000, gli ingegneri dell’intelligenza artificiale si resero conto che potevano addestrare programmi di elaborazione induttiva del linguaggio naturale alimentandoli con masse di testo raccolte da Internet. “In realtà non stai codificando regole che dicono: ‘Così funziona la lingua, così funziona la grammatica’ e così via”, spiega Larson. “In realtà stai semplicemente dicendo: ‘Guarda queste pagine web, e poi costruisci un modello di come funziona il linguaggio.’”
ChatGPT utilizza un metodo induttivo chiamato “previsione della sequenza”. Se fornisci a ChatGPT una sequenza di parole, compone una risposta a quella sequenza basata sulle risposte umane a sequenze simili nel suo enorme database. Con questo metodo, ChatGPT può scrivere haiku, impegnarsi in ragionamenti morali complessi, superare esami di abilitazione e esprimere opinioni sulla meccanica quantistica.
PERCHÉ CHATGPT FALLISCE
I successi di ChatGPT, dice Larson, sollevano la domanda: “Abbiamo davvero bisogno di tutta questa fantasiosa conoscenza del mondo, e così via? Oppure è vero che se solo avessimo abbastanza dati e sufficiente potenza di calcolo, e questa architettura Transformer, potremmo semplicemente simulare tutta questa intelligenza? (L’architettura del trasformatore è un componente chiave del design di ChatGPT.)
Abbiamo ancora bisogno di conoscenze sofisticate, sostiene Larson. Se l’obiettivo della ricerca sull’intelligenza artificiale è creare una vera “superintelligenza” con una conoscenza ampia e basata sul senso comune, ChatGPT rappresenta probabilmente un vicolo cieco. “Non sarà un percorso da seguire nel modo in cui [il CEO di Open AI] Sam Altman e altre persone parlano.”
Rispondendo ad alcune domande, ChatGPT “fornisce una risposta completamente ridicola”. Se gli chiedi di spiegare la sua risposta, ChatGPT “confabula, ti mente letteralmente”. Questo difetto è “fatale”, afferma Larson. Non puoi affidare a ChatGPT compiti cruciali, perché non puoi prevedere in anticipo quando fallirà. “Non esiste un modo basato su principi per dire in anticipo: ‘Ehi, avremo un problema se poniamo questo tipo di domande’”.
ChatGPT ha problemi, ad esempio, con i “compiti di identificazione della causalità degli eventi”, che implicano dedurre se due eventi sono causalmente correlati. Prendiamo ad esempio questa affermazione: pochi minuti dopo essere stata sospesa e scortata fuori dal lavoro, una donna è tornata con una pistola e ha aperto il fuoco, uccidendo due persone e ferendo gravemente un terzo collega prima di essere presa in custodia.
ChatGPT, come la maggior parte degli esseri umani, dedurrà correttamente che la donna ha sparato ai suoi colleghi perché era stata licenziata. Ma ChatGPT ha la tendenza a inventare connessioni causali tra eventi non correlati. “In realtà confabulerà, o inventerà una storia, su come sono collegati”, dice Larson. “Questo è ancora un altro segno che c’è una sorta di problema fondamentale in agguato in questo percorso verso l’intelligenza generale.”
Anche noi esseri umani commettiamo errori, ovviamente. Il problema con ChatGPT “non è che occasionalmente commette errori”, afferma Larson. “È che a volte diventa una cosa completamente folle.”
CHATGPT È IN RITARDO
Sam Altman, CEO di Open AI, afferma che ChatGPT può aiutare a risolvere problemi sociali urgenti, come la povertà. Ma ChatGPT è troppo inaffidabile per soddisfare questo grande scopo, afferma Larson. ChatGPT è inaffidabile perché manca di un modello mondiale, di conoscenze di base e di buon senso. “Non c’è niente a cui si possa ricorrere e dire: ‘Aspetta un attimo, sembra un po’ stravagante.’”
Un altro problema: un’intelligenza artificiale generale dovrebbe essere in grado di rispondere a domande sugli eventi attuali, giusto? Ma il database di ChatGPT non è aggiornato. Include solo informazioni fino a gennaio 2022, afferma Larson, ed è “sostanzialmente cieco” verso qualsiasi cosa oltre quel punto.
“Se hai bisogno di sapere cose sul passato, è davvero geniale”, afferma Larson. “Ma se hai bisogno di ragionare su cose che stanno accadendo proprio adesso, oggi, in realtà ha un valore quasi nullo.” [Vedi aggiornamento di seguito.]
LE AZIENDE SI FIDANO DI CHATGPT?
I progettisti di ChatGPT possono ideare “patch” software per risolvere i problemi, ma le patch rendono il software più complicato. Larson paragona ChatGPT a una barca che presenta costantemente perdite. «Non puoi continuare a tappare i buchi nella tua barca, giusto? Devi costruirlo in modo che non abbia perdite”. I difetti di ChatGPT derivano dalla sua “fondamentale incapacità di capire come funzionano le cose”.
La riqualificazione di ChatGPT per correggere un difetto o rendere le sue conoscenze più aggiornate richiede “3.125 server in funzione ininterrottamente per oltre 3 mesi”, afferma Larson, per un costo stimato di “un paio di miliardi di dollari”. Le IA ad alta intensità di calcolo come ChatGPT sono realizzabili solo da “iper-ricchi e super-finanziati”.
Tutti questi problemi, sospetta Larson, spiegano perché le aziende sono state lente nell’adottare ChatGPT. Sì, può conversare con gli esseri umani, come “Alexa on steroids” di Amazon, afferma Larson, e può “servire come una sorta di strumento aggiuntivo per la ricerca”. Ma finora ChatGPT “non sta causando un grande successo nel mondo degli affari”.
ATTENZIONE ALLE ARMI IA
Larson sottolinea che ChatGPT, pur essendo una “meraviglia dell’ingegneria”, è solo uno “strumento”, non un essere senziente. Si sente frustrato quando le discussioni sull’intelligenza artificiale virano verso scenari di fantascienza, in cui le macchine diventano senzienti e cattive, come HAL nel film 2.001: Odissea nello spazio. Questi scenari fantascientifici ci distraggono dai “pericoli reali” posti dall’intelligenza artificiale, afferma Larson.
L’intelligenza artificiale può essere utilizzata per generare disinformazione, come discorsi e video fasulli, in modi che possono interrompere le elezioni e minare la democrazia. Larson è anche preoccupato per le applicazioni militari dell’intelligenza artificiale, come i sistemi d’arma autonomi, che possono navigare e uccidere indipendentemente dagli operatori umani. L’intelligenza artificiale presenta “ovvi vantaggi in guerra”, perché ti consente di uccidere il tuo nemico senza metterti “in pericolo”. I droni stanno già diventando sempre più capaci di prendere decisioni autonome.
Larson conosce un’azienda che progetta “sottomarini autonomi”, che possono svolgere missioni anche se un blackout nelle comunicazioni li disconnette dagli umani. Larson teme cosa accadrà “se automatizziamo troppo la guerra”. Stiamo “mettendo il futuro dell’umanità nelle mani di questi sistemi”.
Larson teme che le nazioni potrebbero non essere in grado di regolamentare l’intelligenza artificiale per prevenire applicazioni dannose. “Le istituzioni sono sempre in ritardo rispetto alla tecnologia, giusto? Non abbiamo risposte a queste domande perché le capacità, la tecnologia, sono molto superiori alla nostra capacità di parlarne”.
Puoi vedere tutta la mia chat con Erik Larson qui. Per valutazioni più dettagliate su ChatGPT e altre tecnologie, consulta la newsletter Substack di Larson.
Post scriptum: Dopo il suo discorso Larson mi ha detto che a settembre il partner di Open AI, Microsoft, ha collegato ChatGPT a Bing, il motore di ricerca di Microsoft. “Quindi puoi sostenere che [ChatGPT] conosce gli eventi attuali, anche se fondamentalmente scrive riassunti di pagine web.”
