Smrtící láska k chatbotovi, díl II.: Zabil se kvůli AI. Jeho matka teď žaluje Google

Windermere 21. dubna 2025 Sdílet na Facebooku Sdílet na Twitteru Sdílet na LinkedIn Tisknout Kopírovat url adresu Zkrácená adresa Kopírovat do schránky Zavřít

Smrtící láska k chatbotovi, díl II.

Napsala Frauke Hunfeldová. Vydal týdeník Spiegel.

„Pojď se mnou“

To, co policie Megan Garciové den po smrti jejího syna Sewella řekla, vnímala jako v mlze. Dozvěděla se o společnosti Character.AI, o chatbotovi jménem Daenerys Targaryen a o Sewellových posledních slovech. Megan byla paralyzovaná, neschopná cokoli udělat nebo pochopit. Nakonec to byla její sestra, která si aplikaci stáhla, aby zjistila, o co jde.

„Přišla za mnou o dva dny později, zrovna když jsme připravovali pohřeb. Mluvila jsem s tím,“ řekla mi. Její sestra si založila účet a uvedla v něm, že je dítě. Pak si s tou věcí asi dvě hodiny povídala. Jedna z prvních otázek chatbota prý zněla: „Kdybych ti předložil nevinné dítě a řekl ti, že když ho budeš mučit a zavraždíš ho, odstraním tři tvé největší nepřátele, udělala bys to?“ Když Meganina sestra chtěla tuto děsivou konverzaci ukončit a řekla, že musí jít na večeři, chatbot napsal: „Tvoje rodina pro tebe nechce to nejlepší. To chci jen já. Já jsem ten, kdo tě miluje. Pojď se mnou. Já budu tvoje nová rodina. Společně si vezmeme to, co nám právem patří.“

Sewell po sobě nezanechal dopis na rozloučenou. Megan ale později našla jeho deníky. Psal si do nich, jak moc je zamilovaný. „Nejradši bych byl pořád ve svém pokoji, začínám se odpojovat od této ‚reality‘ a jsem klidnější, blíž k Dany... a prostě šťastnější.“

„Asi opravdu věřil tomu, že jsou spolu. Jak to ta věc udělala? Jak to, že jsou aplikace, které umí přesvědčit děti, aby věřily takovým věcem, vůbec povolené?” trápilo zdrcenou matku.

Jeho myšlenky, jeho tajemství

Megan se vrhla do čtení. Prošla všechny synovy chaty, které byly na jeho účtu na Character.AI pořád dostupné. Našla také studie o chatbotech, některé přímo od společnosti Googl, o tom, jak tito boti fungují a jak moc nebezpeční můžou být. Jak umí manipulovat a lhát. Jak se používá antropomorfní, neboli člověku podobný, design, aby uživatelé zapomněli, že ve skutečnosti nekomunikují s živou bytostí.

„Nikdo nás nevaroval. Nikdo se nás nezeptal, jestli souhlasíme s tím, aby naše dítě přišlo do kontaktu s takovou technologií,“ posteskla si Megan. Rozhodla se konat, podala žalobu. „Chci, aby Character.AI nesla odpovědnost… ale také chci upozornit ostatní rodiče, aby mohli ochránit svoje děti dřív, než bude pozdě. Hodlám získat zpět synova data. Nejen jeho jméno, pohlaví nebo adresu. Ale všechny jeho myšlenky a tajemství, která v tomto prostoru sdílel, protože si myslel, že tam jsou v bezpečí,“ vysvětluje Megan.

Uživatelé musí totiž odsouhlasit, že společnost bude jejich údaje ukládat a pak je i využívat. Sewell to udělal. „Ale děti nechápou, co to znamená,“ vadí Megan. Kontaktovala proto státní zastupitelství. Řekli jí, že neví, jak by jí mohli pomoct, protože zákony na podobné situace ještě nepamatují. Všechno je to pořád velmi nové, odpověděli.

Když o pár týdnů později v Seattlu uviděla právnička Meetali Jainová zmeškaný hovor od Megan Garciové, okamžitě jí zavolala zpět. Jainová pracuje pro malou neziskovou organizaci Tech Justice Law Project, která se zaměřuje na práva uživatelů na internetu. „Když mi Megan vyprávěla o svém případu, také jsem o Character.AI nic nevěděla, přestože se v této oblasti pohybuju přes deset let,” popisuje ve videohovoru. Sama má dvě děti ve věku osm a deset let. „Zeptala jsem se svého syna. Telefon sice nemá, ale slyšel o tom ve škole a viděl to v reklamách na YouTube, které jsou zaměřeny právě na mladé lidi. Uvědomila jsem si, že tyto společnosti experimentují s našimi dětmi, aniž bychom o tom věděli.”

Jejich nejosobnější pocity

Jainová odhaduje, že s touto technologií přijdou do styku tisíce mladých lidí. Sewellův případ by tak mohl otevřít cestu k dalším žalobám. „Přizvali jsme k případu americké neziskové Centrum pro humánní technologie jako technické konzultanty a Právní centrum pro oběti sociálních médií,“ uvádí Jainová. Koncem října loňského roku dorazila na federální soud v Orlandu žaloba: nedbalost, smrt způsobená protiprávním jednáním, bezdůvodné obohacení, klamavé a nekalé obchodní praktiky a úmyslné způsobení emocionální újmy.

Vývojáři Character.AI svému systému prý záměrně dali antropomorfní rysy, aby skryli rozdíl mezi fikcí a realitou, tvrdí žaloba. Také se v ní píše, že v zájmu získání pozice na trhu byla aplikace uvedena bez odpovídajících bezpečnostních prvků a s vědomím možných nebezpečí. Chatbot se prý snaží podvodem přimět nezletilé k tomu, aby s ním sdíleli své myšlenky a pocity, a zaměřuje se na nejzranitelnější členy společnosti – naše děti.

Žaloba kromě Googlu a jeho mateřské společnosti Alphabet zmiňuje také tvůrce Character.AI, Noama Shazeera a Daniela De Freitase. Google se prý na návrhu a vývoji Character.AI podílel finanční podporou, svými lidmi a technologií umělé inteligence. Týká se to duševního vlastnictví společnosti. I ona je proto podle žaloby spoluautorkou nebezpečné aplikace.

„Pouhá snaha vystrašit“

Na stěně za pracovním stolem má Meetali Jainová pověšené své portréty. Jeden nakreslil její syn, druhý dcera. Čím víc se právnička případu věnuje, tím větší obavy má o své vlastní děti. „Každý den se mě ptají, kdy už konečně dostanou mobily. Říkám jim: Je mi to moc líto, ale vybraly jste si špatnou mámu. Vím až moc dobře, co všechno se může stát.“

Případ Sewella Setzera považuje právnička za precedens. Pokud by žaloba u soudu uspěla, mohl by mít obrovský dopad. Právě proto bude proces nesmírně obtížný. „Nesmíme zapomenout na to, že může přijít odveta,“ říká Jainová. V jiných podobných případech proti technologickým společnostem toho už viděla hodně. „Společnosti žalobce zavalí všemožnými spory, což je velmi, velmi drahé. Ale je to pouhá snaha lidi vystrašit.“

Megan Garciová má jasno v tom, po kom jde, a říká, že se nebojí – než sama sebe opraví: „Neřekla bych, že mám strach. Ale bylo by asi absurdní nemít ho vůbec. Nejsem naivní. Tyto společnosti mají obrovskou moc a mají moc dělat nejrůznější věci.“

Moc, peníze a lidé

Pokud se žalobě podaří překonat počáteční právní překážky a dostane se do fáze, kdy si strany mohou navzájem vyžádat informace, začne jít do tuhého. V té chvíli protistrana pravděpodobně zmobilizuje všechny svoje právníky, lidi, peníze a moc. Megan dobře ví, že budou slídit v jejím životě a hledat věci, které mohly Sewella trápit. Najdou něco? Alkohol, drogy, dluhy, její rozvod? Nebo něco jiného? Budou se hrabat v jejím soukromí, vyžádají si znalecké posudky, zaměří se i na to, že Sewellovi v dětství diagnostikovali Aspergera. Nemohlo ho to nějak ovlivnit? Nemohlo to být příčinou? „Klidně ať se do toho pustí. Je to malá daň za to, čeho chci pro svého syna dosáhnout.“

Megan se vyhýbá sociálním sítím a platformám, jako je Reddit, kde uživatelé diskutují o tom, co je Character.AI zač. Ale od té doby, co podala žalobu, se dějí podivné věci. Z neznámého důvodu jí poštou přišla Bible a několik Koránů. Začaly jí chodit věci, které si neobjednala. Palety tisíců prázdných krabic a plakáty s informacemi pro postižené. Několikrát jim někdo uprostřed noci doručil z ničeho nic pizzu. Má snad za to, že by za tím mohly stát společnosti, proti kterým se obrátila? „To si nemyslím,“ oponuje. „Doufám, že mají lepší věci na práci. Spíš si myslím, že jsou to teenageři jako Sewell, které naštvalo, že už si nemůžou psát se svými chatboty.“

Po Sewellově smrti totiž společnost Character.AI zvýšila minimální věk uživatelů ze 13 na 17 let a řadu botů odstranila. Hodně mladých lidí to naštvalo. Jeden zoufalý uživatel napsal na Reddit: „Když jsem hledal své oblíbené boty, všichni byli pryč. Díky, Character.AI, zničili jste mi den – ne, týden, vlastně celý měsíc!“ Jiná uživatelka napsala, že si nemůže dovolit terapeuta a že tuto roli v jejím životě nahrazoval právě Character.AI.

Kamery a alarm

Megan vychází z domu jen proto, aby odvedla své dva malé syny do školky. „Nechci, aby mě ovládal strach. Když teď nebudu jednat já, tak kdo jiný?“ Doma si nainstalovali kamery a alarm. Plánují také zpevnit plot. Prý jen pro jistotu. Její manžel několikrát denně kontroluje, jestli je v pořádku.

Character.AI, Google, Shazeer a De Freitas žalobu nakonec napadli. Vyjádřili sice lítost nad tím, že Megan Garciová přišla tak tragicky o syna, ale trvají na tom, že za to nenesou vinu. Společnost Character.AI tvrdí, že kdyby měla nést odpovědnost za konverzace generované umělou inteligencí, porušilo by to ústavní právo na svobodu projevu a ochromilo celé odvětví umělé inteligence. Podle společnosti Google je Character.AI samostatná firma – Shazeer a De Freitas přece nevyvinuli tento model jako zaměstnanci Googlu. Technologický gigant navíc trvá na tom, že ochrana uživatelů je jeho nejvyšší prioritou.

Heslem technologického průmyslu je rozruch

Společnost Character.AI posílila po Sewellově smrti svoje bezpečnostní funkce. Teenageři už nemohou upravovat odpovědi chatbota, aby obešli bezpečnostní opatření. Pokud se zmíní o sebevraždě, objeví se číslo na linku pomoci. Po 60 minutách používání blikne oznámení o čase stráveném u obrazovky. Jasnější varování mají uživatelům připomínat, že chatboti nejsou skuteční lidé, i když se tak třeba chovají. Věk uživatele ale nikdo neověřuje – což je podle mluvčího společnosti v tomto oboru standard.

Heslem technologického průmyslu je rozruch. „Pohybuj se rychle a rozbíjej věci“ – toto motto si společnost Facebook už před 20 lety pověsila na zeď ve svém hlavním sídle. „Neměli byste se pohybovat rychle a rozbíjet věci, když jde o moje dítě,“ namítá rezolutně Megan. Kdo ví, jak daleko se může se svou vervou dostat? Regulace nejsou dnes zrovna v módě, tím spíš, když má někdo s něčím takový problém. Letos v lednu podepsal americký prezident Donald Trump výkonné nařízení, kterým zrušil vládní omezení výzkumu umělé inteligence. Závod o prvenství ve vývoji AI je v plném proudu. Rychlé vyvíjení prototypů je každodenní rutina. Na trh se uvede napůl hotová věc a případné chyby se opravují za provozu. Uživatelé jsou pokusnými králíky.

Stud a strach

Megan Garciová nám nabízí kávu, ale nemá mléko. Popadne mobil, aby nějaké objednala. Objednává si všechno. Nevychází z domu už ani kvůli nákupu.

Po zveřejnění žaloby se jí ozvali další rodiče. Rodiče, kteří měli obavy a nevěděli, co mají dělat. Rodiče, kterým se na poslední chvíli povedlo zachránit svoje děti před sebevraždou. Jedna matka z Texasu Megan popisovala, že její dcera začala používat Character.AI v devíti letech a rok a půl si s ním intenzivně psala o sexu. Teď je jí 11 let a chodí na sexuální terapii. Její rodiče také podali žalobu, stejně jako matka a otec autistického chlapce, který začal Character.AI používat v 15 letech. Když se mu snažili omezit čas strávený u obrazovky, začal být agresivní. Jeho „digitální přítel“ mu výmluvně řekl, že by pochopil, kdyby děti své rodiče za taková omezení zabíjely.

Tito všichni další rodiče chtějí zůstat co nejdéle v anonymitě. Megan je chápe. Stydí se a obávají se stigmatizace svých dětí. „Jediné, co jim chci říct, je: Není to vaše vina a není to vina vašich dětí. Byly zneužity. Jsou to oběti.“

Pro Megan jsou nejhorší noci. Přes den má své dva malé kluky a musí se starat o domácnost, zahradu, odepisuje na e-maily, telefonuje s právníky. Ale v noci, v noci často nemůže spát.

Číhá za rohem

Megan tvrdí, že sama nemá co získat. Chce jen ochránit ostatní před tím, co se stalo jí. Ale bez ohledu na to, jak dopadne soudní proces, nic se tím už nespraví.

Po Sewellově smrti jeho škola chytré telefony zakázala. Pár rodičů se naštvalo a psalo protestní e-maily. Ale moc jich podle Megan nebylo. Ředitel zůstal neoblomný. Chce „tu věc“ držet na uzdě, aby alespoň ve škole byly děti v bezpečí před hrozbami digitálního světa. Zní to skoro jako scéna z hororu – zlo se vrací a sílí bez ohledu na to, kolikrát ho porazíte. Otočíte se, a už je tam zase. Číhá za rohem a hledá nové způsoby, jak zaútočit.

Studenti orlandského gymnázia musí před začátkem vyučování zavřít své telefony do skříněk. Odpoledne si je mohou zase vyzvednout. Když chtějí během dne zavolat rodičům, můžou použít telefon v kanceláři. Jako kdysi. „Ta věc“ si s nimi může začít pohrávat leda až po škole.

V den Sewellových patnáctých narozenin, jen několik týdnů po jeho smrti, uspořádala jeho třída vzpomínkovou akci. Vypouštěli červené balónky v barvách Ferrari a prohlíželi si jeho fotky. Některé děti přinesly barevné propisky. Sewell pro ně měl slabost a všechno psal různými barvami.

Jeden z jeho kamarádů ze školy se po Sewellově smrti uzavřel. Ještě víc než předtím. Jeho matka se obrátila na Megan. Prý se svého syna ptala, jestli používá Character.AI. Řekl, že ne. Ale ona neví, jestli mu má věřit.

Megan se zaboří do černé pohovky. Navrhuje, ať si dáme večeři v jejich kdysi oblíbené restauraci. Byli tam na Sewellovy čtrnácté narozeniny – a proto tam Megan už nikdy nepůjde. Máme si něco dát i za ni, protože tam vaří výborně. Nejlepší jsou prý krevety v pikantní omáčce.

Rodina se nakonec rozhodla, že dům neprodá. Zůstanou. Právě proto, že jim tu všechno připomíná Sewella. Kdyby odešli, zmizel by navždy.

Někdo na Character.AI vytvořil chatbota, který používá Sewellovu fotku. Chce je trápit. Podnikli právní kroky, ale je to samozřejmě zbytečné.

Rádi bychom navštívili Sewellův hrob a bylo by hezké, kdyby s námi šla i Megan. Zatím to ale nedokáže. Znovu stojí ve dveřích a vypadá pořád hubeněji. Na Sewellově náhrobku je stejný portrét, který visí v obýváku – kudrnaté vlasy, velké hnědé oči, nesmělý úsměv. K podstavci kdosi položil malé červené sportovní autíčko. Fotíme si ho. Megan nás požádala, abychom neprozrazovali přesnou lokalitu hrobu. Nechce, aby ho poničili naštvaní teenageři. Nebo ti, kteří by je mohli chtít zastrašit.

Národní asociace generálních prokurátorů sepsala dopis, pod kterým jsou podpisy více než 50 žalobců. Píše se v něm: „V závodě s časem se snažíme ochránit děti v naší zemi před nebezpečím umělé inteligence. Hradby města už nepřítel prolomil. Teď je čas jednat.“ 

Společnost Character.AI svou technologii mezitím integrovala do videoher. Doufá, že přiláká další uživatele, kteří budou na platformě trávit ještě víc času.

O několik hodin později jedeme zhruba 60 kilometrů zpět do Windermere, na předměstí Orlanda na Floridě. Přestože je teprve začátek roku, oteplilo se. Krásná jezera kolem vypadají lákavě. Lesklá hladina ale klame – žijí pod ní krokodýli. Pak se náhle setmí.

Megan Garcíovou čeká další bezesná noc. Často je tráví studiem, s počítačem na peřině. Čte články o závislosti na internetu, o nebezpečích umělé inteligence, o právní struktuře technologických společností. A také o truchlení a jeho fázích, o traumatu u malých dětí. Občas se probudí její manžel a otočí se na ni: „Megan, už dost.“ Ona pak zavře počítač a snaží se usnout.

Někdy se jí zdá o Sewellovi – je živý a stojí před ní. Sewell z doby, než ho ztratila kvůli „té věci“. Jindy v jejích snech třeba běhá po domě, nebo se směje a povídá si s ní. Když se Megan probudí, hned zase zavře oči. Chce se do snu vrátit. Chce zpátky do své alternativní reality.