ChatGPT ohromil vedcov. Umelá inteligencia zvládla testy určené pre špičkových lekárov

Umelá inteligencia neprestáva prekvapovať. Okrem písania práci hodných vysokoškoláka či článkov takmer nerozpoznateľných od ľudskej práce však po novom dokázala zabodovať aj vo vysoko profesionálnych testoch. ChatGPT sa takmer stal rádiológom.

Na odbornej úrovni

Pozoruhodné výsledky umelej inteligencie v skúške na získanie pozície v rádiologickej rade opisuje štúdia uverejnená v odbornom časopise Radiology, na ktorú ďalej odkazuje portál Jerusalem Post.

Podľa definície Lekárskej fakulty Univerzity Komenského je rádiológia špecializačný odbor liečebno-preventívnej starostlivosti, ktorý sa zaoberá vyšetrovaním chorobných stavov pomocou zobrazenia röntgenovými lúčmi alebo iným vlnením. Zaoberá sa aj rádiologickými metódami spojenými s liečebným výkonom, intervenčnou rádiológiou.

Chatbotovi ChatGPT, ako jeho novšej verzii GPT-4, tak aj staršej verzii GPT-3.5, bol predložený test, ktorý mal náročnosťou a formou pripomínať oficiálne testy pre skúšky na Canadian Royal College a American Board of Radiology.

Test obsahoval 150 otázok s viacerými možnosťami výberu. Otázky boli rozdelené do viacerých kategórií, pričom sa v teste nachádzali tzv. „otázky nižšieho rádu“, zamerané na zapamätanie a pochopenie, a tiež „otázky vyššieho rádu“, ktoré už boli zložitejšie a vyžadovali si aplikáciu a hlbšiu analýzu.

Pôvodne neuspela

Umelá inteligencia dosiahla už predtým pôsobivé výsledky. Výskumníci v separátnej štúdii testovali schopnosti modelu GPT-3.5, ktorá je dostupná aj pre bežných používateľov. Celkovo chatbot v tomto prípade získal 69 %, čo znamená, že len jediné percento ho delilo od úspešného zvládnutia skúšok. Chybne odpovedal len v 46 otázkach z celkových 150.

Lepšie umelá inteligencia zvládala otázky nižšieho rádu, v ktorých mala až 80 % úspešnosť. Naopak, o niečo menej sa jej darilo pri zložitejších otázkach vyššieho rádu. Stále však odpovedala správne na viac ako polovicu z nich, konkrétne na 60 % otázok.

zdroj: Freepik

Najnovšia štúdia však využila predošle spomenutý a lepší model GPT-4, ktorý svojho predchodcu porazil vo všetkých ohľadoch. Ako informuje portál ScitechDaily, GPT-4 odpovedal na 81 % rovnakých otázok správne, čím prekonal GPT-3.5 a prekročil hranicu 70 %.

GPT-4 je zásadným vylepšením

GPT-4 fungoval oveľa lepšie ako GPT-3.5 v otázkach myslenia vyššieho rádu (81 %), konkrétnejšie pri tých, ktoré zahŕňali popis nálezov zobrazovania (85 %) a aplikáciu konceptov (90 %). Prekonanie 70 % hranice taktiež znamená, že ChatGPT by úspešne zvládol skúšky na vstup do rádiologickej rady.

Zaujímavosťou však je, že chatbot nedokázal dosiahnuť lepšie výsledky v kategórii otázok nižšieho rádu a aj model GPT-4 spravil dokopy 12 chýb v otázkach, na ktoré dokázal GPT-3.5 predtým odpovedať správne.

So špeciálnou „živou“ AI sa baví cez 700 miliónov ľudí. Je desivé, čo všetko nahrádza

„Spočiatku nás prekvapili presné a sebavedomé odpovede ChatGPT na niektoré náročné rádiologické otázky, ale potom nás rovnako prekvapili niektoré veľmi nelogické a nepresné tvrdenia,“ vyjadril sa k výsledkom hlavný autor štúdie Rajesh Bhayana, M.D.

Ako ďalej dodal autor, výskumníkov ohúrilo rýchle zlepšenie schopností chatbota a výrazný rozdiel v schopnostiach novšej a staršej verzie. Myslí si však, že štúdia prezentuje aj stále pretrvávajúce limity a problémy umelej inteligencie.

„Pre mňa je toto najväčšie obmedzenie. V súčasnosti sa ChatGPT najlepšie používa na podnecovanie nápadov, pomáha pri začatí procesu odborného písania a pri sumarizácii údajov. Ak sa používa na rýchle pripomenutie informácií, vždy je potrebné ich overiť,“ uzavrel doktor.