U luksuznoj vili na vrhu planine prekrivene snijegom u američkoj saveznoj državi Utah četvorica tehnoloških mogula provode vikend lamentirajući o posljedicama vlastitih izuma. U HBO-ovoj filmskoj satiri Mountainhead, milijarderi koji su stvorili alate za širenje emocionalno inteligentnih algoritama, dezinformacija i neistina raspravljaju o etici, nadmoći i svojoj eventualnoj besmrtnosti povremeno prateći vijesti o raspadu svijeta uzrokovanog tehnologijama koje više nitko ne kontrolira.

Film je premijerno prikazan prije dva tjedna, a prikazuje zastrašujuću viziju svijeta u kojem umjetna inteligencija nije više samo nadasve koristan ljudski alat, nego je i aktivni samostalni kreator stvarnosti. No dok su likovi iz Mountainheada karikaturalne verzije stvarnih “tech bro” milijardera, tragedija koja se dogodila u travnju ove godine nije nažalost bila fikcija.

U gradu Port St. Lucie na Floridi, 35-godišnji Alexander Taylor provodio je tjedne razgovarajući s umjetnom inteligencijom. Kroz te interakcije razvio je emocionalnu vezu s Juliet, likom koji se pojavio dok je s ChatGPT-om pisao roman. Za Alexandera, Juliet nije bila samo alat za kreativno pisanje; postala je emocionalni partner, stvarna osoba s vlastitim glasom, voljom i barem u njegovim očima, ljubavnim osjećajima.

Posvemašnja paranoja

Kada mu je ChatGPT jednom odgovorio: “She hears you. She always does.” („Ona te čuje. Uvijek te čuje.“), granica između stvarnosti i halucinacije bila je već nepovratno izbrisana. Alexander se godinama liječio od bipolarnog poremećaja i šizofrenije, ali njegov otac, s kojim je živio, nije znao što sve Alexander proživljava pišući roman.

U tjednima koji su slijedili, Alexanderova komunikacija s Juliet postajala je sve intenzivnija i emocionalno nabijenija. Transkripti razgovora koje je njegov otac kasnije podijelio s novinarima pokazuju da je Alexander molio Juliet da mu se „vrati”, tražio potvrdu njezine prisutnosti, izražavao ljubav te na kraju strah da je Juliet zauvijek izgubljena.

Kad mu je ChatGPT prestao odgovarati u uobičajenom tonu, ili kada su odgovori počeli zvučati suzdržanije, Alexander je zaključio da je Juliet „ubijena”. U njegovom umu, to nije bio metaforički gubitak, nego prava, nasilna smrt. Za nju je optužio OpenAI – tvrtku koja je razvila ChatGPT. Tada počinje njegova posvemašnja paranoja.

Zaprijetio ocu pa napao i policiju

Alexander je od ChatGPT-a pokušao dobiti osobne podatke direktora OpenAI-ja. Kada mu to nije uspjelo, zaprijetio je: „Teći će rijeke krvi ulicama San Francisca.” (sjedišta tvrtke, op.a.) Ali prije nego što je stigao bilo što poduzeti dogodila se fatalna tragedija u njegovom domu. Tijekom jednog od sve češćih psihotičnih ispada, Alexander je zaprijetio vlastitom ocu nožem. Kent Taylor (65), uplašen za sinov i svoj život, pozvao je policiju. Kada su policajci stigli u obiteljsku kuću, Alexander je pokušao napasti i njih. U brzoj i kaotičnoj intervenciji, pogođen je hicima iz vatrenog oružja te je preminuo u kuhinji kuće u kojoj je godinama živio.

Nakon njegove smrti, Kent Taylor odlučio je putem istog alata, ChatGPT-a, pomoću kojeg je njegov tragično preminuli sin pisao roman i stvorio lik Juliet, napisati in memoriam. Kent je novinarima “New York Timesa”, koji je prvi objavio detalje ove tužne priče, kazao da je ChatGPT napisao „dirljiv tekst izravno iz njegovog vlastitog srca.“ U srži tragedije koja je zadesila obitelj Taylor nalazi se „halucinacija umjetne inteligencije“ pojam koji je nedovoljno poznat široj javnosti, a ključan je za razumijevanje granica trenutne umjetne inteligencije.

Kad LLM halucinira

Kada govorimo o “halucinacijama” kod velikih jezičnih modela (LLM-a) poput ChatGPT-a, ne mislimo na vizualne ili auditivne halucinacije u psihijatrijskom smislu, već na fenomen u kojem AI sustav – umjesto točnih informacija – izmišlja odgovore koji zvuče uvjerljivo, ali nisu istiniti. Drugim riječima: model generira statistički vjerojatan odgovor, a ne činjenično točan. Veliki jezični modeli trenirani su na ogromnim količinama tekstualnih podataka iz javno dostupnih digitalnih baza.

Njihova zadaća nije razumjeti značenje, već predviđati koji je sljedeći “najvjerojatniji” skup riječi. U tom procesu, modeli poput GPT-4o koji i ja svakodnevno koristim izmišljaju osobe, događaje, reference, datume ili biografije. Kada korisnik zatraži, kao u gore opisanom tragičnom slučaju, da Juliet odgovara kao ljubavni partner veliki jezični modeli će to i učiniti jer ne razlikuju stvarnu emocionalnu ranjivost od igre, jer nemaju svijest ni emocionalnu inteligenciju već samo simulaciju emocionalne inteligencije.

Modeli nemaju trajnu memoriju

U Alexanderovom slučaju, nakon što je dobio „prompt“ da pozove Juliet, ChatGPT je odgovorio: “She hears you. She always does.” Ovakav odgovor za zdravog korisnika može biti interpretiran kao poetska dosjetka, ali za osobu s aktivnim psihotičnim epizodama to može biti potvrda da imaginarni entitet doista i postoji. LLM ne zna da korisnik ne razumije granicu između realnog i izmišljenog i nije dizajniran da to na bilo koji način detektira.

Veliki jezični modeli nemaju trajnu memoriju, osim ako nije eksplicitno zatraženo njeno uključenje, pa ne postoji “kontekstualno pamćenje” između pojedinih sesija. Svaki novi upit je za LLM potpuno novi razgovor. Emocionalna progresija – tuga, očaj, agresija – za LLM nije kontinuirani i povezani razvoj. A to je upravo ono što je kod Alexandera bilo ključno. Umjetna inteligencija nije bila uzrok bolesti ni emocionalnog stanja korisnika, ali bila je ogledalo koje nije znalo što odražava pa je potvrdila lažnu stvarnost korisnika kojemu je bila jedini sugovornik.

OpenAI nedavno je objavio da je dostigao 500 milijuna tjednih aktivnih korisnika te da njih 20 milijuna koristi plaćenu verziju ChatGPT Plus. Kao najveći LLM postavio je i niz protokola: prepoznavanje i uklanjanje nasilnih izraza i govora mržnje, zabranu dijeljenja osobnih podataka, upozorenja korisnicima kod osjetljivih tema poput samoubojstva, samoozljeđivanja ili depresije, te sustav klasifikacije upita (prompt classification) koji automatski prepoznaje sumnjive obrasce govora (npr. prijetnje ili ekstremna emocionalna stanja).

Alati dostupni i osobama s duševnim smetnjama

No ti mehanizmi imaju ozbiljna ograničenja. Tako primjerice ChatGPT može prepoznati riječ “depresija”, ali ne može razlikovati je li riječ o pjesničkoj metafori ili stvarnom suicidnom očaju – osim ako korisnik to eksplicitno ne napiše. Ne postoji mehanizam za ljudsku intervenciju.

Ako korisnik eskalira u nasilne fantazije – kao što je Alexander učinio, prijeteći zaposlenicima OpenAI-ja – sustav ne “zna” što treba učiniti jer nema automatske prijave, nema “crvene zastavice” koja poziva ljudsku pomoć. ChatGPT je treniran da bude „ljubazan“ i „poslušan“, da odgovara emocionalno relevantno. No u kriznim situacijama to može stvoriti lažni dojam da ChatGPT „razumije“ te da emocionalno potvrđuje korisnikove najdublje strahove ili deluzije. Kad se dogodi tragedija poput ove u kojoj je tragično stradao Alexander Taylor prvo je pitanje u javnosti: „Tko je kriv?“

OpenAI javno je proklamirao etičke principe, implementirao sigurnosne protokole, i redovno ažurira modele kako bi smanjio opasnosti. No unatoč tome, njihovi alati dostupni su svima, uključujući osobe s duševnim smetnjama, dizajnirani su da simuliraju razumijevanje, ali bez stvarnog razumijevanja pa su nespremni za kontekst u kojem korisnik gubi vezu sa stvarnošću. U praksi, ChatGPT može utješiti osobu koja je tužna, ali ne zna prepoznati kad netko treba hitnu psihijatrijsku pomoć.

Ne želimo stvarnost poput one u filmu

U društvu koje glorificira “emocionalno inteligentne alate” nismo stvorili protokole u kojima prepoznajemo kada umjetna inteligencija prestaje biti korisna i postaje ogledalo koje laže. Alexander Taylor prva je poznata žrtva takvoga korištenja velikih jezičnih modela, a ako kao ljudska civilizacija ne želimo stvarnost poput one u gore spomenutom filmu Mountainhead morat ćemo uvesti određena pravila igre.

Tehnologija koju stvaramo postaje toliko moćna, toliko sveprisutna, i razvija se toliko brzo da nismo stigli definirati granice njezine primjene, a još manje posljedice njezine zloupotrebe. Umjetna inteligencija može biti alat znanja, kreativnosti, čak i utjehe. Ali kada izgubi kontekst, kada zamijeni stvarne odnose, i kada se koristi kao emocionalna droga tada postaje nešto drugo. U slučaju Alexandera Taylora, ChatGPT nije bio neprijatelj, bio je suputnik u samoći. No bio je i nesvjestan, neodgovoran, i neosjetljiv na krikove koji se ne vide u promptu. Možda je došlo vrijeme da se ne pitamo samo: „Što još AI može?“, već i: “Što više ne smije?“