Dabing, na ktorý netreba hercov. Slovák prišiel s prevratnou technológiou ako zo sci-fi filmu

Zlatica Puškárová, ktorá v hlavných správach priznáva, že sa doposiaľ mýlila a rúška či očkovanie nemajú žiadny význam. Alebo Marcel Merčiak, ktorý tvrdí, že neznáša šport, lebo je primitívny.

Dve videá, ktoré v prvých sekundách mnohých Slovákov určite šokovali.

V skutočnosti – ako sa ukazuje v druhej časti videa – však ide o takzvaný deepfake, vytvorené video, ktoré Zlatica Puškárová či Marcel Merčiak nikdy nenatočili a nikdy nič také nepovedali.

Za oboma videami stál informatik a odborník na umelú inteligenciu Martin Spano, ktorý chcel v rámci spoločnej kampane s O2 ukázať, ako sa dnes dá zneužiť tvár nejakého človeka a vytvoriť falošná správa – hoax.

Dávať si pozor, čomu na internete veríme, má podľa jeho slov v súčasnej pandemickej dobe cenu zdravia a ľudských životov.

Včera Martin Spano zverejnil na svojich sociálnych sieťach ďalšie video, ktoré opäť vyvolalo rozruch. Tentokrát však z iných dôvodov – vďaka prelomovej jedinečnej technológii, ktorú prostredníctvom neho predviedol.

Dabing, ktorý podľa jazyka hýbe aj tvojimi ústami

Spano v prvej polovici videa hovorí plynule po čínsky, dokonca – a v tomto je jeho technológia najviac prevratná – aj jeho pery sa pohybujú tak, akoby skutočne hovoril po čínsky.

„Predstavujem vám DubbAI, môj umelou inteligenciou poháňaný engine na automatické dabovanie videí. Toto je prvé verejné demo môjho nového projektu. Prvá polovica videa je preklad do čínštiny, druhá polovica je originál,“ uviedol.

„Čínština bola zvolená preto, že tento jazyk neovládam, takže som ho určite nemohol prednahrať. Už v najbližších dňoch sa môžete tešiť na ďalšie výstupy a podrobnosti o projekte,“ napísal k videu na sociálnych sieťach.

Mimochodom, video, ktoré použil na túto ukážku, pôvodne pochádza z nášho Diskusného klubu, kde bol Martin Spanom našim hosťom:

Hneď po zverejnení videa sme sa s Martinom Spanom spojili a zistili sme viac.

Ako táto technológia vlastne funguje a prečo by podľa neho bola lepšou náhradou tradičného dabingu?

Lacnejší a lepší ako tradičný dabing

„Ten nápad vznikol už v mojom detstve, keď som bol oveľa mladší. Môj otec mi hovoril, že my mladí to máme dobré – učíme sa angličtinu, rozumieme filmom a môžeme cestovať. Ale čo oni starí, ktorí sa učili jazyky, ktoré nie sú veľmi užitočné a teraz sa im už nové jazyky učia ťažko. Vtedy mi napadlo, keby tak existovala nejaká možnosť, ktorá by automaticky prekladala, keďže nie všetko bolo/je dabované,“ hovorí nám o zrode tohto nápadu Spano.

zdroj: Unsplash/ Glenn Carstens-Peters

Technológie, ktoré niečo také umožňovali, boli podľa neho dlho „biedne“, až s vývojom umelej inteligencie (AI) nastali výrazné zmeny a zlepšenia aj v tomto smere.

Obzvlášť v rámci umelej inteligencie vyzdvihuje pokrok v oblasti spracovania prirodzeného jazyka, ktorá sa v tejto brandži označuje skratkou NLP (natural language procesor).

Ďalšou dôležitou technológiou, ktorá sa podieľa na vytvorení Spanovho videa, má byť „generatívna kontradiktórna sieť“, čo je vlastne typ konštrukcie umelej neurónovej siete – označovaný skratkou GAN (generative adversarial networks).

Ak by sme to mali laicky vysvetliť, NLP sa stará o spracovanie a preloženie daného jazyka do iného jazyka, ktorý chceme – v prípade Spanovho videa do čínštiny.

Technológia GAN následne dokáže vytvoriť video, v ktorom nie len že budeme hovoriť novým jazykom, ale navyše aj hýbať ústami, akoby sme ním skutočne prirodzene rozprávali, čo je podľa Spana oproti doterajším prekladom prevratná novinka.

„Aj keď tomu rozumiem, ako to funguje, aj pre mňa samotného je to sci-fi. Sám som z toho šokovaný,“ neskrýva nadšenie v telefonáte s nami Martin Spano.

Odborník na umelú inteligenciu zo Slovenska má jasno aj v tom, kde by sa jeho DubbAI mohol používať.

Otvorene hovorí o známych streamovacích službách, ako napríklad Netflix, ktorý by sa takýmto prekladom mohol lepšie presadiť v jednotlivých krajinách. Jednoducho, technológia, ktorú dal Martin Spano dokopy, by mohla podľa neho nahradiť tradičný dabing.

zdroj: Unsplash/Mollie Sivaram

„Dabing je strašne drahý, na to potrebuješ hercov, štúdio a je pomalý, trvá určitý čas. A keď aj urobíš ten dabing, mnohým ľuďom prekáža, že tie ústa sa pohybujú inak, ako hovoria,“ vysvetľuje nám nevýhody dabingu v porovnaní s jeho DubbAI-om Spano.

Ďalším uplatnením by mohli byť videorozhovory napríklad cez Zoom, kde by osoba zo zahraničia na našej obrazovke hovorila našim jazykom a dokonca by to vyzeralo naozaj prirodzene.

Čo sa týka názvu, ide do istej miery o slovnú hračku, ktorá sa môže niektorým Slovákom podľa Spana ľahšie pamätať a vyslovovať.

V skutočnosti jeho vynález nemá nič s podobne znejúcim mestom z Perzského zálivu a meno vzniklo spojením „dubb“, čo je skratka pre anglické slovo dubbing (dabing), a „AI“, čo je skratka pre umelú inteligenciu.

Ako nám Spano zdôrazňuje, zatiaľ ide o demo ukážku, no netají sa plánmi spojiť sily s viacerými ľuďmi – napríklad „s kamarátom, ktorý vlastní softvérovú firmu“ – a rozbehnúť s touto technológiou, ktorá má podľa neho obrovský potenciál, nový startup.

Viac si o téme umelá inteligencia môžeš prečítať na Martinovom blogu.