„Všetko napísané po roku 2022 môže byť otrávené AI,“ tvrdí odborník. Firmy platia miliardy za staršie texty

Umelá inteligencia môže mať onedlho problém, ktorý vyplýva z jej potreby vývoja prostredníctvom nových dát. Internet sa rýchlo zapĺňa obsahom vytvoreným práve umelou inteligenciou. To, čo dnes šetrí čas pri písaní textov, však môže v budúcnosti skomplikovať tréning ďalších generácií AI modelov.

Podľa Martina Kováča zo Slovenskej AI aliancie sa problém netýka iba takzvaného model collapse. Väčším rizikom môže byť postupné zhoršovanie kvality tréningových dát a rastúca cena dôveryhodného ľudského obsahu.

• Sú kvalitné, redakčne spracované knihy z pohľadu AI hodnotnejším zdrojom než bežný webový obsah? Ak áno, v čom konkrétne?
• Predstavujú fyzické knihy a iné „pred-AI“ archívy do budúcnosti určitú formu dátovej rezervy, ktorá môže byť pre tréning modelov čoraz cennejšia?
• Aké riziká vznikajú, keď sa do tréningových dát dostáva veľké množstvo neovereného AI obsahu obsahujúceho chyby, skreslenia alebo vymyslené informácie? Môžu sa tieto chyby medzi generáciami modelov zosilňovať?
• Ako to môže ovplyvniť život bežného Slováka?

Práve preto získavajú na hodnote staršie knihy, mediálne archívy či texty vytvorené pred masovým rozšírením generatívnej AI. Kováč ich prirovnáva k špeciálnej oceli z obdobia pred jadrovými skúškami – ich najväčšou výhodou je, že pri nich možno s vysokou pravdepodobnosťou určiť ľudský pôvod.

Umelá inteligencia stojí pred veľkým problémom

Odborník v rozhovore vysvetľuje, prečo môžu byť kvalitné knihy pre tréning modelov cennejšie ako bežný web, ako sa AI-generovaný obsah môže postupne recyklovať a prečo sú malé jazyky, vrátane slovenčiny, voči tejto zmene citlivejšie.

Témou je aj zámerné „otrávenie dát“ propagandou a nepravdivými informáciami. Pri malom jazykovom trhu môže mať podľa Kováča aj relatívne malé množstvo škodlivého obsahu výraznejší vplyv.

Slovensko pritom vlastní zdroje, ktorých význam môže rásť – digitalizované knihy, mediálne archívy či desaťročia kvalitného slovenského textu.

Celý rozhovor prináša pohľad na to, prečo sa boj o budúcnosť umelej inteligencie nemusí viesť iba o čipy a výpočtový výkon, ale čoraz viac aj o kvalitné, overené a ľudské dáta. Poďme sa teda na túto oblasť pozrieť priamo s expertom na etickú integráciu umelej inteligencie Slovenskej AI aliancie. 

Do akej miery je dnes pre vývojárov AI reálnym problémom takzvaný model collapse, teda zhoršovanie modelov pri opakovanom trénovaní na obsahu vytvorenom inou umelou inteligenciou?

Tento problém je určite reálny, ale nie v podobe katastrofy, ako je bežne podávaný. Odštartovala to štúdia, myslím, že z časopisu Nature z roku 2024, ktorá ukázala, že keď model trénujeme dokola na syntetických dátach z výstupov AI, začne produkovať nezmysly. Lenže to je laboratórny prístup.

Každá ďalšia generácia AI modelu by musela byť trénovaná na výstupoch z predchádzajúcich generácií modelov, a to reálne nikto nerobí. Ak sa však pôvodné ľudské dáta pridávajú k tým syntetickým, tento kolaps je možné odvrátiť. Dnes tu ale máme iný problém. Čistenie dát tak, aby sme mali odseparované tie ľudské a mohli ich použiť, je pre laboratóriá stále nákladnejšie, lebo strojového obsahu je na nete stále viac. Takže skôr si viem predstaviť zdražovanie kvalitnej vstupnej suroviny, ako model collapse.

Prečo sú pre tréning veľkých jazykových modelov stále také cenné staršie knihy a texty vytvorené pred masovým rozšírením generatívnej AI?

Čítaj viac z kategórie: Biznis a startupy