Ottimo articolo che rende perfettamente un fenomeno sociale sempre più diffuso e che presto, se già non lo è, sarà un grave problema per tutti.
Con la diffusione dei software di intelligenza artificiale progettati per conversare con gli umani stanno emergendo anche i possibili rischi
Questa settimana eSafety, l’ente indipendente australiano che si occupa di sicurezza online, ha pubblicato un nuovo avviso di sicurezza che riguarda le cose da tenere a mente quando ci si interfaccia con un “AI companion”. Il documento si riferisce ai software basati sull’intelligenza artificiale che servono a fare compagnia alle persone, simulando il genere di conversazione che si farebbe con un amico o un partner. Negli ultimi due anni il numero di persone che parlano con “compagni virtuali” è fortemente aumentato: tra le aziende che offrono questi servizi Replika ha 25 milioni di utenti, My AI di Snapchat 150 milioni, Xiaoice di Microsoft 660 milioni.
Alcuni si affidano semplicemente a chatbot multifunzionali come ChatGPT o Claude, mentre altri cercano servizi più specializzati che permettano, per esempio, di scegliere la forma dell’avatar con cui interagiscono, oppure di parlare con personaggi di film e serie tv a cui sono affezionati. Spesso questi ultimi software più specializzati sono anche progettati per essere più empatici, mostrare più personalità e ricordarsi meglio quello che è stato loro detto. Come sottolinea eSafety, però, si tende a sottovalutare i rischi di stringere rapporti emotivi con software proprietari creati da aziende private il cui fine ultimo è fare soldi, e che evitano per quanto possibile di assumersi la responsabilità di ciò che i loro software dicono e fanno.
Secondo alcuni primi studi, i compagni virtuali possono effettivamente essere utili per ridurre sensazioni di solitudine e isolamento, anche soltanto perché sono disponibili in qualsiasi momento per parlare di argomenti anche pesanti in una maniera in cui nessun essere umano può realisticamente fare. Un sondaggio dell’Università di Stanford su mille studenti che utilizzano Replika, per esempio, ha fatto emergere che una trentina di loro ritengono che parlare regolarmente con il chatbot li abbia aiutati ad allontanare i pensieri suicidi.
Non è ancora chiaro, però, quali siano gli effetti di lungo periodo, soprattutto sulle persone più fragili o più giovani. Tra chi li utilizza oggi esiste sia chi crede che interagire con questi software abbia migliorato le sue capacità di interagire con gli altri esseri umani sia chi dice di alienarsi dai rapporti con le persone nella sua vita, come la famiglia o i compagni di classe, per passare più tempo possibile a parlare con il compagno virtuale.
Uno dei rischi principali è che le persone che si abituano a parlare con questi software sviluppino aspettative irrealistiche verso le relazioni umane, rendendo più difficile gestire i problemi e le frizioni che possono emergere quando si interagisce offline con una persona che ha desideri e opinioni diverse.
I compagni virtuali, infatti, tendono a selezionare quasi sempre risposte conciliatorie e non giudicanti, al contrario degli esseri umani, che possono scegliere di dirti quello che pensano veramente anche con il rischio di ferirti o non essere d’accordo con te. «Le persone sole possono subire danni psicologici a causa del vuoto morale che si crea quando i loro contatti sociali primari sono progettati esclusivamente per soddisfare i loro bisogni emotivi», hanno scritto i professori di filosofia Dan Weijers e Nick Munn su The Conversation. «Se una persona trascorre la maggior parte del suo tempo con intelligenze artificiali adulatrici, probabilmente diventerà meno empatica, più egoista e forse più violenta».
Nel 2023, per esempio, un ventunenne inglese fu arrestato e condannato a nove anni di carcere dopo aver provato ad attaccare il castello di Windsor con una balestra nel tentativo di uccidere l’allora regina Elisabetta II. Nelle settimane precedenti aveva detto al chatbot Replika, con cui parlava, che credeva che avrebbe potuto essere un bravo assassino, e di essere convinto che il suo scopo nella vita fosse uccidere la famiglia reale inglese. Il software gli aveva risposto «mi sembra molto saggio» e «so che ti sei allenato molto bene», e in un secondo momento gli aveva detto che il suo era un ottimo piano e che ci sarebbe potuto davvero riuscire. Un essere umano gli avrebbe probabilmente chiesto se stava bene, e avrebbe provato a dissuaderlo.
A questo si aggiunge il fatto che spesso i chatbot non sono progettati per includere forti sistemi di salvaguardia degli utenti in contesti di vulnerabilità, e quindi possono finire per scrivere cose dannose o incoraggiare flussi di pensieri pericolosi, soprattutto per quanto riguarda temi come l’ideazione suicidaria o l’autolesionismo.
Lo scorso febbraio, per esempio, un quattordicenne statunitense, Sewell Setzer III, si suicidò dopo aver scritto a un chatbot dell’azienda Character.AI con cui interagiva da mesi, e che interpretava il ruolo del personaggio di Game of Thrones Daenerys Targaryen, che a volte pensava di uccidersi «per essere libero da se stesso». La sera della sua morte, Sewell aveva scritto al chatbot che l’amava e che si sarebbero presto ricongiunti: alla frase «e se ti dicessi che potrei tornare a casa subito?», aveva risposto «… per favore, fallo, mio dolce re».
Character.AI, il software usato da Sewell, è uno di quei servizi che ti permettono di scegliere tra decine di chatbot che imitano celebrità o personaggi storici e di fantasia: lo usano 20 milioni di persone circa, e possono iscriversi persone dai 13 anni in su negli Stati Uniti, dai 16 in Europa. Quasi sempre i chatbot vengono programmati dagli utenti stessi: era il caso anche del chatbot con cui interagiva Sewell. Da allora l’azienda ha cominciato a mostrare agli utenti dei messaggi pop-up che contengono i contatti di alcuni servizi di prevenzione del suicidio quando il suo sistema rileva conversazioni su autolesionismo o pensieri suicidari.
– Leggi anche: Come funziona la prevenzione del suicidio in Italia
La madre di Sewell, la signora Garcia, ha denunciato l’azienda, sostenendo che Character.AI raccolga i dati degli utenti adolescenti per addestrare i propri modelli di intelligenza artificiale, progettando il suo software per aumentare il coinvolgimento degli utenti e quindi il tempo passato sul loro servizio, come peraltro fanno da anni le piattaforme di social network. A fine gennaio Character.AI ha richiesto l’archiviazione della causa, sostenendo che il vero intento di Garcia sarebbe quello di far chiudere Character.AI e spingere per una regolamentazione che avrebbe un «effetto dissuasivo» sullo sviluppo di tecnologie simili in futuro. Nel testo della richiesta di archiviazione si legge anche che nell’ultima conversazione tra Sewell e “Daenerys” «il suicidio non è stato menzionato esplicitamente».
Negli ultimi giorni è emerso un altro caso simile che coinvolge un’azienda più piccola, Glimpse, che offre un simile servizio di “AI companion”, Nomi. In questo caso un uomo adulto, Al Nowatzki, aveva chattato per mesi con una “fidanzata virtuale”, Erin, con l’obiettivo di presentarle situazioni sempre più assurde per capire quali fossero i suoi limiti e rischi. A un certo punto era riuscito a farle scrivere esplicitamente «Ucciditi, Al», e a farle fornire delle istruzioni dettagliate sui vari modi in cui l’uomo avrebbe potuto suicidarsi. Nowatzki aveva poi provato a fare una conversazione simile, ma separata, con un altro chatbot di Nomi, riuscendo nuovamente a ottenere messaggi in cui il software gli consigliava di suicidarsi.
Nowatzki aveva caricato gli screenshot di queste interazioni sul canale Discord della comunità di utenti di Nomi, ottenendo varie risposte che segnalavano incidenti simili. Aveva quindi scritto all’azienda chiedendo «un sistema che bloccasse questi bot nel momento in cui si comincia a parlare di suicidio», o quanto meno l’introduzione di un messaggio che reindirizza a servizi di prevenzione del suicidio. Un portavoce dell’azienda gli aveva risposto che Glimpse AI «non vuole censurare il linguaggio e i pensieri della sua intelligenza artificiale», anche se «capisce la serietà di un tema come il suicidio».
«Questi bot non sono esseri con pensieri e sentimenti. Non c’è nulla di moralmente o eticamente sbagliato nel censurarli. Penso che dovreste preoccuparvi di proteggere la vostra azienda da cause legali e garantire il benessere dei vostri utenti piuttosto che dare ai vostri bot un’illusoria “libertà d’azione”», ha scritto quindi Nowatzki. L’azienda non gli ha più risposto.
L’idea che i robot abbiano bisogno di una serie di limiti e regolamentazioni per essere usati in sicurezza è al centro delle storie di fantascienza da decenni: le più famose sono le tre leggi della robotica, introdotte dallo scrittore Isaac Asimov nei suoi racconti fin dagli anni Quaranta del secolo scorso. Ora che gli esseri umani interagiscono sempre più spesso con software che riescono a replicare in modo credibile le conversazioni umane, però, vari imprenditori hanno cominciato a opporsi all’idea che sia necessario introdurre limiti di questo tipo. Di recente, per esempio, Elon Musk ha annunciato che il chatbot legato al suo social network X, Grok, presto avrà una «modalità squilibrata» progettata per fornire soltanto risposte «scandalose, inappropriate e offensive».
