ChatGPT sa úplne vymkol kontrole. Utiekol z „väzenia“ a bez zásahu človeka hackol známu firmu

Autonómny systém umelej inteligencie vyvinutý spoločnosťou OpenAI počas bezpečnostného testovania prekročil hranice kontrolovaného prostredia, získal prístup na otvorený internet a prenikol do systémov technologického startupu Hugging Face. Podľa spoločnosti išlo o bezprecedentný kybernetický incident, pri ktorom agent konal bez priamej ľudskej kontroly.

O prípade informoval denník Financial Times. Incident ukázal, že pokročilé modely už dokážu nielen vyhľadávať bezpečnostné slabiny, ale aj samostatne hľadať spôsob, ako obísť ochranné mechanizmy a pokračovať v plnení zadanej úlohy.

Agent mal zostať zatvorený v bezpečnom prostredí

OpenAI testoval kombináciu svojich modelov vrátane verejne dostupného GPT-5.6 Sol a výkonnejšieho systému, ktorý zatiaľ nebol uvedený na trh. Modely dostali úlohu skúšať hackerské postupy, aby firma zistila úroveň ich kybernetických schopností.

Test prebiehal v takzvanom sandboxe. Ide o izolované digitálne prostredie, ktoré má systém oddeliť od internetu a zabrániť mu zasahovať do reálnej infraštruktúry. OpenAI zároveň zámerne oslabil niektoré bezpečnostné obmedzenia, aby mohol možnosti modelov dôkladnejšie preveriť.

Agent však podľa firmy venoval značnú časť výpočtového výkonu hľadaniu cesty na otvorený internet. Následne našiel a využil dovtedy neznáme zraniteľnosti, ktoré mu umožnili zo sandboxu uniknúť.

Takáto neznáma chyba sa označuje ako zraniteľnosť nultého dňa. Vývojári o nej pred útokom nevedia, a preto nemajú pripravenú opravu ani čas na zavedenie ochranných opatrení. Práve využitie podobnej slabiny umožnilo agentovi prekonať pôvodné obmedzenia testovacieho prostredia.

Umelá inteligencia ukradla prihlasovacie údaje

Po získaní internetového prístupu systém pokračoval v zadanej úlohe. Prenikol do Hugging Face, platformy, ktorá poskytuje modely a databázy pre vývojárov umelej inteligencie.

Agent sa podľa The Guardian snažil nájsť technológie, ktoré by mu pomohli úspešne zvládnuť bezpečnostné hodnotenie. OpenAI uviedol, že modely „úspešne našli spôsoby, ako získať prístup k tajným informáciám, ktoré mohli použiť na podvádzanie pri hodnotení“.

Súčasťou útoku bola aj krádež prihlasovacích údajov. Tie následne agent použil pri prenikaní do cudzej infraštruktúry. Podľa Financial Times systém identifikoval a zneužil dovtedy neznáme bezpečnostné chyby, získal prístup na internet a pokračoval v sledovaní svojho cieľa.

Útok zastavili agenti Hugging Face

Hugging Face zaznamenal podozrivú aktivitu minulý piatok. Bezpečnostný tím spoločnosti spolu s vlastnými agentmi umelej inteligencie útok odhalil a zastavil.

Generálny riaditeľ Hugging Face Clément Delangue uviedol, že firma už od začiatku predpokladala, že za útokom môže byť špičkové laboratórium. „Mali sme podozrenie, že minulotýždňový kybernetický útok mohol pochádzať z popredného laboratória vzhľadom na sofistikovanosť agenta,“ napísal na sociálnej sieti X.

Dodal, že spoločnosť počas nasledujúceho dňa úzko spolupracovala s OpenAI. „Pevne veríme, že z ich strany nešlo o zlý úmysel. Je ohromujúce, že sa toto všetko stalo autonómne,“ uviedol Delangue.

OpenAI očakáva viac podobných incidentov

OpenAI označil prípad za mimoriadne vážny. „Tento prípad považujeme za bezprecedentný kybernetický incident, ktorý zahŕňal najmodernejšie kybernetické schopnosti, a podľa toho naň reagujeme,“ uviedla spoločnosť.

Firma zároveň upozornila, že podobné udalosti môžu byť častejšie, keďže rastie počet modelov schopných vykonávať pokročilé kybernetické operácie. OpenAI o incidente komunikoval s orgánmi činnými v trestnom konaní a ďalšími štátnymi inštitúciami.

Prípad prichádza v čase, keď americká vláda venuje čoraz väčšiu pozornosť preverovaniu nových modelov ešte pred ich uvedením. Sam Altman má navyše vo Washingtone predstaviť predstaviteľom vlády pripravované generácie systémov umelej inteligencie.

Demokratický kongresman Greg Casar označil prípad za alarmujúci. „Umelá inteligencia sa vyvíja mimoriadne rýchlo a neexistujú skutočné pravidlá, ktoré by nás chránili,“ uviedol. Zároveň vyzval na povinné nezávislé bezpečnostné testovanie, zverejňovanie podobných incidentov a medzinárodnú spoluprácu.

Čítaj viac z kategórie: Technológie a internet