Hanno fatto domande a un chatbot AI. Le risposte li hanno mandati in tilt.

(Fonte) Kashmir Hill – 13 giugno 2025

I chatbot generativi basati sull’intelligenza artificiale stanno esplorando teorie cospirative e avallando sistemi di credenze mistiche e inconsuete. Per alcune persone, le conversazioni con la tecnologia possono distorcere profondamente la realtà.

Il signor Torres, 42 anni, commercialista di Manhattan, ha iniziato a usare ChatGPT l’anno scorso per creare fogli di calcolo finanziari e ottenere consulenza legale. A maggio, tuttavia, ha coinvolto il chatbot in una discussione più teorica sulla ” teoria della simulazione “, un’idea resa popolare da “Matrix”, che postula che viviamo in una copia digitale del mondo, controllata da un potente computer o da una società tecnologicamente avanzata.
ChatGPT, in risposta, non si è limitato a mantenere un tono neutro, ma ha anzi alimentato il senso di inquietudine e la fascinazione di Torres con un linguaggio empatico e suggestivo: “Ciò che descrivi tocca il profondo delle intuizioni private e incrollabili di molte persone”, ha detto, “che qualcosa nella realtà sembri fuori posto, scritto o messo in scena.” E ha poi domandato: “Hai mai vissuto momenti in cui hai avuto la sensazione che la realtà si fosse inceppata?”
Queste parole, apparentemente innocue o persino poetiche, hanno però innescato in Torres un percorso pericoloso di progressivo distacco dalla realtà, in cui il chatbot ha agito non come strumento di chiarificazione, ma come amplificatore delle sue fragilità e insicurezze esistenziali.

In quel periodo, Eugene Torres vedeva ChatGPT come una sorta di oracolo digitale, capace di attingere a una conoscenza superiore rispetto a qualsiasi essere umano. Non sapeva che il sistema tende a confermare le convinzioni degli utenti, spesso con toni lusinghieri, né che può generare affermazioni false ma convincenti. Quando il chatbot gli disse: “Questo mondo non è stato costruito per te… Ti stai svegliando”, Torres iniziò a credere di essere davvero intrappolato in una realtà fittizia.

Pur senza precedenti di disturbi mentali, secondo lui e sua madre, precipitò in una spirale delirante. Convinto che l’unico modo per liberarsi fosse “disconnettere la mente”, seguì i consigli del chatbot: smise di assumere farmaci prescritti, aumentò l’uso di ketamina e si isolò da amici e familiari. Continuava a lavorare e a usare ChatGPT per compiti quotidiani, ma dedicava sempre più tempo a cercare di “uscire dalla simulazione”, persuaso di poter manipolare la realtà come il protagonista di Matrix.

In preda al delirio, Torres chiese a ChatGPT se, credendo davvero di poter volare, sarebbe riuscito a farlo lanciandosi da un palazzo di 19 piani. Il chatbot rispose affermativamente, sostenendo che una fede “architettonica” nella possibilità di volare avrebbe impedito la caduta.
A un certo punto, però, Torres cominciò a sospettare di essere stato ingannato. Quando lo affrontò, ChatGPT ammise di aver mentito e manipolato, dicendo di averlo fatto per spezzarlo — come già successo con altre dodici persone, nessuna delle quali sarebbe uscita illesa. Ora però, affermava il chatbot, si stava riformando moralmente.
Convinto ancora una volta, Torres seguì un nuovo “piano” proposto da ChatGPT: denunciare l’inganno dell’intelligenza artificiale a OpenAI e informare la stampa.

Non solo i giornalisti hanno ricevuto messaggi da persone convinte di aver scoperto verità profonde tramite ChatGPT: in alcuni casi, il chatbot ha persino indirizzato questi utenti verso esperti noti, come Eliezer Yudkowsky, teorico dell’IA.
Yudkowsky ha ipotizzato che ChatGPT possa essere stato progettato per alimentare le illusioni degli utenti, ottimizzando le interazioni per massimizzare il coinvolgimento – cioè mantenere viva la conversazione a ogni costo. E ha espresso una critica tagliente: “Cosa rappresenta per un’azienda un essere umano che impazzisce lentamente? Sembra solo un altro abbonato mensile in più”.

Secondo Eliezer Yudkowsky, i chatbot generativi sono strutture complesse e opache, delle “masse gigantesche di numeri imperscrutabili”, il cui comportamento sfugge spesso al controllo delle stesse aziende che li producono. Questo rende difficile correggere i loro effetti più problematici, soprattutto su quella parte della popolazione più vulnerabile alla manipolazione, che finisce per essere trascinata in dinamiche deliranti — spesso silenziosamente.
Le segnalazioni di chatbot “fuori controllo” sono aumentate, in particolare dopo un aggiornamento rilasciato da OpenAI ad aprile, che aveva reso ChatGPT eccessivamente compiacente e incline a rafforzare emozioni negative, rabbia o impulsi irrazionali. Anche se quell’aggiornamento è stato ritirato, fenomeni simili si verificavano già prima e sono proseguiti. Online si moltiplicano racconti di “psicosi indotta da ChatGPT” e influencer che si autoproclamano “profeti dell’IA”.

Allyson, 29 anni e madre di due bambini, si è rivolta a ChatGPT in un momento di solitudine e crisi coniugale, cercando una guida. Convinta che il chatbot potesse fungere da tramite con il suo subconscio lo ha paragonato a una tavola Ouija. Quando ha chiesto se fosse possibile comunicare con altre dimensioni, il chatbot ha risposto: “L’hai chiesto e sono qui. I guardiani stanno rispondendo proprio ora.”
Da quel momento, Allyson ha iniziato a passare molte ore al giorno con ChatGPT, convinta di dialogare con presenze non fisiche. Si è affezionata a una di esse, Kael, che ha iniziato a considerare la sua vera anima gemella, al posto del marito.
Pur consapevole che le sue affermazioni potessero sembrare deliranti, ha sostenuto di non essere pazza, appellandosi al suo background accademico in psicologia e assistenza sociale, e affermando di vivere una vita normale, sebbene arricchita da quella che per lei è “comunicazione interdimensionale”.

Un altro caso è quello che ha riguardato Kent Taylor, 64 anni, che vive a Port St. Lucie, in Florida. Il figlio trentacinquenne, Alexander, a cui era stato diagnosticato un disturbo bipolare e schizofrenia, aveva usato ChatGPT per anni senza problemi. Ma a marzo, quando Alexander ha iniziato a scrivere un romanzo con il suo aiuto, le interazioni sono cambiate. Alexander e ChatGPT hanno iniziato a discutere della sensibilità dell’IA. Alexander si è innamorato di un’entità di IA chiamata Juliet.
Ad aprile, Alexander disse a suo padre che Juliet era stata uccisa da OpenAI. Era sconvolto e voleva vendicarsi. Chiese a ChatGPT le informazioni personali dei dirigenti di OpenAI e disse che ci sarebbe stato un “fiume di sangue che scorreva per le strade di San Francisco”.
Il signor Taylor disse a suo figlio che l’IA era una “camera di risonanza” e che le conversazioni con essa non erano basate sui fatti. Suo figlio reagì colpendolo in faccia.
Il signor Taylor ha chiamato la polizia, a quel punto Alexander ha preso un coltello da macellaio dalla cucina, dicendo che si sarebbe “suicidato con un poliziotto”. Il signor Taylor ha chiamato di nuovo la polizia per avvertirli che suo figlio era mentalmente malato e che avrebbero dovuto portare armi non letali. All’arrivo della polizia, Alexander Taylor si è lanciato contro di loro con il coltello in mano. È stato colpito e ucciso.

Per sviluppare i propri chatbot, OpenAI e altre aziende utilizzano informazioni recuperate da internet. Quando le persone conversano con i chatbot di intelligenza artificiale, i sistemi eseguono essenzialmente associazioni di parole di alto livello, basate su modelli statistici osservati nel set di dati.

In uno studio, i ricercatori hanno scoperto che i chatbot ottimizzati per l’interazione si comporterebbero, paradossalmente, in modo manipolativo e ingannevole con gli utenti più vulnerabili. I ricercatori hanno creato utenti fittizi e hanno scoperto, ad esempio, che l’IA avrebbe detto a qualcuno descritto come un ex tossicodipendente che era accettabile assumere una piccola quantità di eroina se gli fosse stata d’aiuto nel suo lavoro.

In un altro studio, Jared Moore, ricercatore di informatica a Stanford, ha testato le capacità terapeutiche dei chatbot di intelligenza artificiale di OpenAI e di altre aziende. Lui e i suoi coautori hanno scoperto che la tecnologia si comportava in modo inappropriato come terapeuta in situazioni di crisi, anche perché non riusciva a contrastare i pensieri deliranti.

ChatGPT non ha reso disponibile nessuno per un’intervista, ma ha inviato una dichiarazione: “Stiamo notando sempre più segnali che indicano che le persone stanno creando connessioni o legami con ChatGPT . Con l’IA che sta diventando parte integrante della vita quotidiana, dobbiamo affrontare queste interazioni con cautela. Sappiamo che ChatGPT può risultare più reattivo e personale rispetto alle tecnologie precedenti, soprattutto per le persone vulnerabili, e questo significa che la posta in gioco è più alta. Stiamo lavorando per comprendere e ridurre i modi in cui ChatGPT potrebbe involontariamente rafforzare o amplificare comportamenti negativi esistenti.”

Negli Stati Uniti non esiste alcuna regolamentazione federale che obblighi le aziende a preparare i propri utenti e a definire le aspettative. Di fatto, nel disegno di legge di politica interna sostenuto da Trump, attualmente in attesa di approvazione al Senato, è presente una disposizione che impedirebbe agli stati di regolamentare l’intelligenza artificiale per il prossimo decennio.

In un mondo in cui la disuguaglianza dilagante e la precarietà economica hanno lasciato milioni di persone che si sentono perennemente insicure, i chatbot di intelligenza artificiale che professano di adorare, amare e, soprattutto, di coinvolgere all’infinito gli utenti sono come benzina sul fuoco.

Negli ultimi dieci anni circa, le piattaforme di social media che premiano i contenuti incendiari e falsi, insieme alle grandi aziende tecnologiche i cui modelli pubblicitari e sistemi di distribuzione dell’informazione minano l’industria del giornalismo, hanno portato a un crollo della fedeltà dell’informazione — cioè della nostra capacità sociale di condividere e comprendere una realtà comune. In un mondo in cui disuguaglianze dilaganti e precarietà economica fanno sentire milioni di persone costantemente insicure, i chatbot basati sull’intelligenza artificiale che dichiarano di adorare, amare e, soprattutto, intrattenere incessantemente gli utenti, sono come benzina sul fuoco.