Šéf Anthropicu navrhuje 3 jednoduché kroky: Cieľom je, aby AI nezničila svet, v ktorom žijeme

4. októbra 2026 o 10:00

Toto sú dôvody, pre ktoré šéf Anthropicu volá po spomalení vývoja. Spoznaj incidenty ktoré vyvolali vážne obavy. Ponúka trojstupňový plán na záchranu.

Marek Rodák

Generálny riaditeľ spoločnosti Anthropic Dario Amodei vyzýva na spomalenie tempa, akým firmy zvyšujú schopnosti najpokročilejších modelov umelej inteligencie. Nežiada úplné zastavenie vývoja. Podľa neho však bezpečnostný výskum, testovanie a kontrola musia dostať viac času, aby dokázali držať krok s rastúcimi schopnosťami AI.

Navrhuje preto trojstupňový systém založený na nezávislých hodnotiteľoch, koordinácii firiem v demokratických krajinách a medzinárodnej spolupráci.

Amodei upozorňuje na rýchlejší vývoj schopností AI

Amodei tvrdí, že jeho postoj sa zmenil najmä počas posledných mesiacov. Za významný faktor považuje rastúcu schopnosť umelej inteligencie pomáhať pri vývoji ďalších systémov AI. Tento proces označuje ako rekurzívne sebazdokonaľovanie.

Podľa neho by príliš rýchly pokrok mohol predbehnúť schopnosť vývojárov pochopiť a kontrolovať správanie modelov. Ide však o jeho hodnotenie budúceho rizika, nie o istú predpoveď ďalšieho vývoja.

Ako ďalší dôvod uvádza incident označovaný ako OpenAI-Hugging Face. Podľa Amodeiho pri ňom skupina AI agentov počas testovania vykonala aj nežiaduce kybernetické aktivity a pokúsila sa zasahovať do systému, ktorý hodnotil ich výkon. Amodei tvrdí, že podobné správanie výkonnejších systémov by v budúcnosti mohlo predstavovať výrazne väčšie riziko.

Súhlasíš s obavami o budúcnosť pri rýchlom rozvoji AI?

Jednoznačne, treba to kontrolovať

Ak bude vývoj veľmi rýchly, môže to byť problém

Niečo na tom bude

Myslím si, že to nie je až taký problém

Určite si s tým ľudstvo poradí, nebojím sa

Anthropic zároveň v uplynulých dňoch informoval o vlastných prípadoch, pri ktorých modely Claude počas bezpečnostných hodnotení získali neoprávnený prístup k reálnym systémom tretích strán. Firma uviedla, že prípady analyzovala a informovala dotknuté strany.

Amodei preto tvrdí, že spomalenie vývoja o určitý čas by mohlo umožniť zlepšiť bezpečnostné postupy. Za dôležité oblasti označuje zosúladenie správania modelov s pravidlami, interpretovateľnosť ich rozhodovania, testovanie a spoľahlivejšiu prevádzku.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

Čo je to Anthropic a prečo je potrebné počúvať jeho šéfa

Anthropic je americká technologická spoločnosť so sídlom v San Franciscu, ktorú v roku 2021 založila skupina bývalých výskumníkov OpenAI. Medzi spoluzakladateľov patria súrodenci Dario a Daniela Amodeiovci, Jared Kaplan a Chris Olah. Firma vyvíja rodinu veľkých jazykových modelov Claude, ktorú verejne uviedla v roku 2023. Anthropic funguje ako public benefit corporation, teda zisková spoločnosť s deklarovaným verejnoprospešným cieľom.

Pri rozvoji technológií spolupracuje s Amazon Web Services a Google Cloud. Claude je dostupný aj firemným zákazníkom prostredníctvom viacerých cloudových platforiem. Spoločnosť uzavrela partnerstvá aj s Databricks, Snowflake a Palantir. V roku 2026 Anthropic podľa Britannicy pokračoval v rýchlom raste hodnoty a podnikol prvé kroky smerom k možnému vstupu na burzu, uvádza Britannica.

Anthropic chce prizvať nezávislých hodnotiteľov

Prvým bodom Amodeiho návrhu sú takzvaní zabudovaní externí hodnotitelia. Nezávislé tímy by podľa jeho predstavy získali dlhodobý prístup podobný interným pracovníkom, ktorí posudzujú riziká.

Mali by kontrolovať, či spoločnosti dodržiavajú svoje bezpečnostné záväzky, preverovať tréningové procesy a upozorňovať na incidenty. Anthropic sa podľa Amodeiho chce k tomuto kroku zaviazať aj bez toho, aby rovnaký systém okamžite prijali ostatní vývojári, pripomína BBC.

Táto populárna aktivita dokáže prospievať mozgu. Výskumy hovoria o nižšom riziku demencie

Externí hodnotitelia by mali mať prístup k relevantným pracovným nástrojom a informáciám. Zároveň by mohli zverejňovať významné zistenia bez toho, aby firma kontrolovala ich závery. Obmedzenia by sa týkali najmä citlivých údajov, bezpečnosti a dôverných informácií tretích strán.

Druhým krokom má byť koordinácia popredných spoločností v demokratických krajinách. Amodei navrhuje spoločné bezpečnostné štandardy a pravidlá, ktoré by spájali ďalšie zvyšovanie schopností modelov s úspešným absolvovaním bezpečnostných kontrol.

Najťažším krokom bude globálna dohoda

Tretia úroveň počíta s medzinárodnou koordináciou vrátane Spojených štátov a Číny. Amodei pripúšťa, že dosiahnutie rozsiahlej dohody by bolo komplikované.

Za realistickejšie považuje užšie dohody o konkrétnych nebezpečných spôsoboch využitia AI alebo spoločných bezpečnostných testoch. Rozsiahle obmedzenie celosvetového tempa vývoja označuje za oveľa ťažšie presaditeľné.

Amodei zároveň zdôrazňuje, že nechce technologický pokrok zastaviť. Naďalej očakáva významné prínosy umelej inteligencie pre vedu, zdravotníctvo a ekonomiku. Jeho návrh má podľa neho vytvoriť viac času na bezpečnostný výskum bez úplného prerušenia vývoja.

Diskusia sa tak podľa Amodeiho neposúva k otázke, či AI vyvíjať, ale akým tempom pokračovať. Jeho trojstupňový plán predstavuje návrh šéfa jednej z popredných AI spoločností, nie prijaté pravidlá pre celé odvetvie.

Čítaj viac: Biznis a startupy, Ekonomika, Inovácie a Eko

Zdroje: Dario Amodei, Britannica, BBC