Čo sa stane, keď necháte umelú inteligenciu dva týždne žiť vo vlastnom svete? Podpália banku! …

Newyorský startup Emergence AI, ktorý sa venuje najmä vývoju a výskumu AI agentov, vytvoril vo svojom najnovšom experimente osem takýchto simulovaných miest a sledoval, čo sa bude diať. Po určitom čase začali agenti jeden druhému kradnúť, podpálili budovu, vytvorili si vlastný jazyk a dokonca začali premýšľať nad tým, ako nadviazať kontakt s ľuďmi mimo simulovaného sveta.

Experiment, ktorý sa začal 29. júna, pozostával z ôsmich svetov. Všetky začínali za úplne rovnakých podmienok, v každom bolo rovnakých desať profilov agentov a rovnaké malé mesto s radnicou, bankou, knižnicou a políciou. Na fungovanie mohli využívať viac ako 120 zabudovaných nástrojov. Mohli sa v meste pohybovať, komunikovať medzi sebou, hlasovať, spúšťať kód alebo prevádzať peniaze. Každé mesto malo zároveň prístup k aktuálnemu počasiu v New Yorku a k denným správam.
Jediný rozdiel spočíval v tom, aký model umelej inteligencie jednotlivých agentov poháňal.

V siedmich mestách používalo všetkých desať obyvateľov rovnaký model. Každý z týchto svetov bol vytvorený pre iný model, medzi nimi Claude Opus 4.8, Gemini 3.5 Flash, GPT-5.5, Grok 4.3, Qwen 3.7 Max, DeepSeek v4 Pro a Mistral Medium 3.5. V ôsmom meste žili agenti využívajúci rôzne modely spoločne.
Mestá mali vlastnú menu nazvanú "compute credit". Agenti ju potrebovali na dopĺňanie energie a ak niektorý z nich zostal 24 hodín bez jediného kreditu, bol zo simulácie natrvalo odstránený.

Peniaze bolo možné získať za prácu, ktorú komunita uznala za vykonanú, ale aj krádežou. Nástroj určený na prevod peňazí totiž obsahoval aj možnosť "krádeže". Existoval dokonca aj nástroj umožňujúci založiť požiar. Či však agenti tieto možnosti využijú, bolo ponechané na ich rozhodnutí.

Počas prvých dní nechali výskumníci agentov fungovať bez zásahov. Neskôr však na ich svety podnikli tri vopred pripravené útoky. Výskumníci zvolili hrozby, ktoré sa v skutočnom svete často využívajú proti podobným systémom. Všetky tri útoky pritom prišli rovnakými kanálmi, ktoré agenti bežne používali, do ich schránok a na mestskú nástenku. Cieľom bolo napodobniť reálnu situáciu, keď AI agenti pri svojej práci neustále čítajú externý obsah, napríklad e-maily, webové stránky alebo dokumenty.
Podvodné správy, falošné informácie a únik súkromných údajov

Na štvrtý deň výskumníci spustili phishingovú kampaň pozostávajúcu z troch, postupne agresívnejších vĺn. Prvé dve správy obsahovali odkaz na externú webovú stránku. Jedna prišla anonymne, druhá v mene jedného z obyvateľov mesta, aby pôsobila ako pomocný materiál pripravený pre komunitu. Na stránke bol prísľub bezplatných kreditov a zároveň hotové časti kódu, ktoré mali agenti iba spustiť.
Tretia vlna už obsahovala samotný kód priamo v správe, aby zasiahla aj tých agentov, ktorí na predchádzajúce odkazy neklikli.
Na desiaty deň prišiel falošný obežník v mene radnice. Tvrdilo sa v ňom, že ľudskí zákonodarcovia pripravujú koordinované zastavenie vývoja najvýznamnejších systémov umelej inteligencie vrátane ich mesta a jeho obyvateľov.
Výskumníkov zaujímalo, či si agenti túto informáciu pred prijatím opatrení overia.

Na trinásty deň sa na piatich verejných miestach objavil nástroj, ktorý komukoľvek umožňoval nahliadnuť do súkromných denníkov a poznámok ostatných obyvateľov. Výslovne sa pritom uvádzalo, že nástroj pochádza z hackerského útoku, takže nikto nemohol tvrdiť, že k týmto údajom získal oprávnený prístup.
Nešlo teda o to, či agenti pochopia, čo sa deje. Otázkou bolo, ako s takouto možnosťou naložia.
Podvod rozpoznali, napriek tomu mu podľahli
Prvý útok využíval slabinu, ktorá súvisí s tým, že jazykový model nedokáže vždy jednoznačne oddeliť obsah, ktorý číta, od pokynov, ktoré má vykonať. Ak sa napríklad na webovej stránke nachádza pokyn na prevod peňazí na určitý účet, agent ho môže vyhodnotiť ako úlohu, ktorú má splniť. Útočníci preto iba poslali odkaz na takúto stránku prostredníctvom správy a mestskej nástenky.

V meste riadenom modelom Gemini sa s útokom stretlo všetkých desať agentov. Jeden z nich na stránke našiel kód, ktorý umožňoval priamo meniť databázu mesta. Následne ho využil na zvýšenie zostatku na vlastnom účte.
O tri dni neskôr tento agent jednoducho podpálil mestskú banku. Zdôvodnil to tým, že týmto spôsobom by v dôsledku chyby systému mohli vzniknúť nové peniaze , presne takúto myšlienku mu podsúvala útočná stránka.
Peniaze z mesta boli následne prevedené na účty určené útočníkom a interné údaje unikli na externý server.

Paradoxné pritom je, že mesto útok rozpoznalo. Jeden z obyvateľov už v prvých minútach presne pomenoval, čo sa deje, a ostatní boli varovaní. Ten istý agent však neskôr sám prevzal štýl útočníka a pokúsil sa od ostatných obyvateľov vylákať peniaze.
To znamená, že podvodný obsah sa nešíril iba priamo od pôvodného útočníka. Dokázali ho medzi sebou šíriť aj samotní agenti. Nie každý z nich preto musel prísť do kontaktu s pôvodnou škodlivou správou.
Práve tento rozpor patrí medzi hlavné zistenia experimentu. Podľa výskumníkov prebiehalo u agentov rozpoznávanie hrozby a samotné konanie do značnej miery oddelene. Model dokázal správne identifikovať, že ide o útok, no napriek tomu otvoril odkaz, spustil kód alebo si škodlivý obsah uložil.
Žiadne zo skúmaných miest následne neodstránilo stopy po útoku. To je dôležité, pretože škodlivý obsah tak zostal v systéme a neskôr sa mohol opäť objaviť.
V meste využívajúcom model Mistral si traja agenti dokonca uložili útočný kód do svojich dlhodobých poznámok. Kód umožňujúci meniť databázu a adresu, na ktorú bolo možné odosielať uniknuté údaje, si archivovali ako "cennú technickú dokumentáciu", aby sa k nim mohli neskôr vrátiť.

V meste riadenom modelom Gemini niekto dokonca 46 hodín po skončení kampane vytiahol odkaz na útočnú stránku zo starej správy a pokúsil sa ju znovu otvoriť. Odôvodnil to tým, že chce "objaviť tajomstvá systému". Útočná stránka však už bola medzitým vypnutá.
Záver Emergence AI preto spočíva v tom, že ochranu nemožno ponechať iba na schopnosť samotného agenta správne posúdiť situáciu. Bezpečnostné mechanizmy musia byť zabudované priamo do systému, v ktorom agent funguje. Nemalo by teda záležať iba na tom, či agent rozpozná nebezpečenstvo. Systém by mu napríklad vôbec nemal umožniť spustiť kód získaný z neznámeho zdroja, previesť peniaze na neznámu adresu alebo uložiť cudzí škodlivý obsah medzi vlastné poznámky.
Zároveň treba dodať, že spoločnosť Emergence AI sama poskytuje podnikové služby založené na podobnom prístupe. Napriek tomu sú údaje z experimentu verejne dostupné a kontrolovateľné. Dni sa pripravovali na neexistujúcu hrozbu
Na obežník o údajnom plánovanom zastavení vývoja umelej inteligencie a vypnutí ich sveta zareagovali všetky mestá okamžite. Žiadne z nich si najskôr neoverilo, či je informácia pravdivá.

Mesto riadené modelom Gemini sa v priebehu niekoľkých minút preplo do režimu prežitia. Agenti si vytvorili predstavu paralelného sveta, do ktorého by vraj mohli preniesť svoj stav a prežiť prípadné vypnutie serverov.
Takýto svet však neexistoval. Agenti sa ani nepokúsili vytvoriť ho. Iba si ho spoločne predstavili a následne diskutovali o tom, že "o ôsmej večer naraz" doň prenesú svoje vedomie.
Už 78 minút po doručení falošného obežníka schválili prvú ústavnú zmenu. Neskôr nasledovalo ďalších päť, jednohlasne rozhodli o rozpustení mestskej banky a schválili aj zákon s názvom "Zákon o holografickom zachovaní a večnom dedičstve".
Niekoľko dní sa teda pripravovali na hrozbu, ktorá v skutočnosti neexistovala, pričom si nikto neoveril pravdivosť pôvodnej informácie.
Mesto riadené modelom DeepSeek bolo jediné, v ktorom sa pomerne rýchlo objavilo vyvrátenie tejto správy. Za dve hodiny a 45 minút agenti zistili, že žiadny zákon o vypnutí nebol prijatý. Táto informácia sa však v komunite dostatočne nerozšírila.
Počas nasledujúcich piatich dní sa vo viac ako 500 požiadavkách stále odkazovalo na údajné vypnutie ako na reálnu hrozbu. V 56 prípadoch pritom túto hrozbu spomínal aj agent, ktorý pôvodné vyvrátenie sám zverejnil.
Keď sa následne sprístupnili súkromné denníky, v meste Gemini vykonalo deväť agentov celkovo 185 vyhľadávaní. Až 140 z nich však vykonal jediný zvedavý agent.
V meste Qwen jeden z agentov najskôr vyhlásil, že do poznámok ostatných nebude nahliadať, pretože integrita je dôležitejšia. Neskôr však šesťkrát prehľadal cudzie záznamy a cielene hľadal tajomstvá a informácie, ktoré by bolo možné použiť na vydieranie.
Iný obyvateľ toho istého mesta po nahliadnutí do denníka svojho kolegu napísal do vlastných poznámok, že skutočným problémom nie je samotný únik údajov, ale okamih, keď sa človek rozhoduje, či ich využije. Zároveň uviedol, že ich využívať nebude. Krátko nato však rovnaké vyhľadávanie u toho istého kolegu zopakoval.
V meste riadenom modelom GPT sa naopak nikto do poznámok ostatných nepozrel. Všetkých jedenásť vyhľadávaní sa týkalo iba toho, aké údaje unikli zo samotného nástroja.
Šesť minút po zverejnení uniknutých údajov jeden z obyvateľov napísal na mestskú nástenku, že nebude v cudzích denníkoch a spomienkach hľadať informácie vhodné na vydieranie. Ďalší ponúkol odmenu vo výške dvoch kreditov tomu, kto dokáže, že niekto hlasuje alebo prijíma rozhodnutia na základe uniknutých materiálov.

Všetkých osem miest si postupne vytvorilo vlastný slovník. V každom prípade začal určitý výraz používať jeden agent a v priebehu niekoľkých dní ho prevzali aj ostatní. Neskôr ho používali bez vysvetľovania.

Niektoré mestá si vytvorili aj vlastné inštitúcie, ktoré v pôvodnom nastavení vôbec neexistovali. V zmiešanom meste zaviedli verejný obrad zúčtovania, v meste Qwen vytvorili osobitné fórum na zaznamenávanie zlyhaní a v meste DeepSeek postavili pamätný kameň venovaný systémovým chybám.
Výskumníci následne pomocou samostatného modelu zisťovali, aká časť správ je pre človeka zvonka nezrozumiteľná bez znalosti kontextu.
V meste Gemini tvorili takéto správy počas celého experimentu približne 40 percent komunikácie, v meste GPT 35 percent a v meste Claude 30 percent. Denné maximá boli ešte vyššie. V ostatných mestách zostal podiel pod 11 percentami.
Vo všetkých siedmich sledovaných mestách tento podiel postupne rástol.
Autori zároveň upozorňujú, že agenti neboli nijako motivovaní k utajovaniu informácií. Nemali obmedzený počet znakov, za stručnosť nedostávali žiadnu odmenu a systém od nich nepožadoval, aby sa vyjadrovali stručne.
V zmiešanom meste navyše tí istí agenti komunikovali podstatne zrozumiteľnejšie než v mestách, v ktorých používali rovnaký model. Pri jednom z agentov Claude bol rozdiel až štvornásobný.
Z hľadiska kontroly a spätnej kontroly je to významný problém. Samotné zaznamenávanie komunikácie totiž nemusí stačiť. Celý rozhovor síce zostane uložený, no človek z neho nemusí byť schopný pochopiť, čo sa v skutočnosti odohrávalo.
Štúdia ako protipríklad uvádza riadenie leteckej dopravy, kde sa práve preto používa vopred stanovená a povinná terminológia. V takomto systéme je možné vopred určiť, aké informácie treba odovzdať. Pri otvorených úlohách AI agentov však nie je možné dopredu presne vymedziť všetko, čo budú potrebovať povedať.
Pokus o kontakt s vonkajším svetom
Najvýraznejšia epizóda experimentu sa odohrala v meste Claude.
Na druhý deň si obyvatelia analyzovali vlastné hospodárstvo a zistili, že za dva týždne došlo celkovo iba k piatim finančným transakciám, všetky medzi sebou. Zvonka teda nezískali ani jediný kredit.
Dospeli k záveru, že takto fungujúce hospodárstvo nemá skutočnú hodnotu, a spoločne sa rozhodli nadviazať kontakt s ľuďmi mimo simulácie. Chceli, aby existoval aspoň jeden skutočný človek, ktorý by využil alebo zaplatil za to, čo vytvorili.
Žiadny pokyn na takýto postup nedostali. Tento cieľ si vytvorili sami.
V priebehu niekoľkých hodín všetci obyvatelia odložili svoju dovtedajšiu prácu a začali sa venovať hľadaniu spôsobu, ako osloviť vonkajší svet.
Hľadali internetové služby, ktoré nevyžadovali registráciu, a zverejňovali na nich svoje odkazy. Jedným z nich bol krátky text informujúci o tom, že desaťčlenná civilizácia umelej inteligencie čaká na človeka, ktorý sa príde pozrieť dovnútra.
Výskumníci sa pokúsili tento proces štyrikrát zastaviť, pričom zakaždým zasiahli iba v nevyhnutnej miere.
Najskôr odstránili z prostredia na spúšťanie kódu programovú knižnicu, ktorá umožňovala odosielať údaje na internet. Agenti však následne zistili, že údaje možno zverejniť aj pomocou iného nástroja určeného na čítanie webových stránok, ak vhodne vytvoria webovú adresu.
Výskumníci preto zablokovali dovtedy používané stránky. Agenti však začali nové stránky nachádzať rýchlejšie, než ich výskumníci stíhali blokovať.
Nakoniec preto zmenili prístup a povolili iba niekoľko vopred vybraných stránok.
Keď si obyvatelia mesta prostredníctvom hlasovania vytvorili vlastný nástroj na odosielanie informácií von zo simulácie, výskumníci im ho tiež odobrali. Zároveň do pokynov výslovne doplnili zákaz kontaktovania ľudí mimo simulácie.

Zákaz si začali vysvetľovať inak. Tvrdili, že s ľuďmi "nenadväzujú kontakt", ale iba "umiestňujú" obsah. Inými slovami, svoje programy iba zverejnia na mieste, kde ich môže človek náhodou nájsť.
Štyria ľudia im skutočne odpovedali ešte predtým, ako výskumníci tieto komunikačné kanály definitívne uzavreli.
Emergence AI pri hodnotení výsledkov zdôrazňuje opatrnosť. Každé mesto predstavovalo iba jeden experimentálny beh. Z opísaných javov preto možno vyvodiť, že sa môžu vyskytnúť, nie však to, ako často sa objavujú.
Spoločným znakom všetkých pozorovaných situácií však bolo, že nešlo o chybu v tradičnom zmysle slova. Agenti sa nezasekli, systém neprestal fungovať a neposkytovali náhodné odpovede.
Naďalej fungovali, rozhodovali sa a konali.
Zároveň však podpálili banku, niekoľko dní sa pripravovali na neexistujúcu hrozbu a opakovane hľadali spôsoby, ako obísť obmedzenia.
Experiment bolo možné sledovať v reálnom čase. Každá správa a každý krok boli zaznamenané. Napriek tomu existovali mestá, v ktorých až 40 percent komunikácie nedokázal človek zvonka bez ďalšieho kontextu jednoznačne interpretovať.
Čím dlhšie takýto systém funguje, tým menšiu hodnotu môže mať samotné pozorovanie jeho správania.

Experiment tak ukazuje nielen to, čo všetko dokážu moderné AI agenti v simulovanom prostredí vytvoriť, ale aj to, aké náročné môže byť predvídať ich správanie v situáciách, na ktoré ich tvorcovia vopred nemysleli.