Nakon gotovo četiri godine od bučnog ulaska ChatGPT-ja u javni prostor, generativna umjetna inteligencija dospjela je do impozantnih visina, no najnovija mjerenja i analize stručnjaka pokazuju da su njeni dometi i dalje omeđeni nepredvidivim greškama. Iako današnji napredni modeli s lakoćom rješavaju složene logičke i naučne zadatke koji nadmašuju mogućnosti pojedinca, njihovo razmišljanje i dalje počiva primarno na nadljudskoj memoriji i obradi podataka, dok u domeni vizuelnog razumijevanja, društvene inteligencije i samostalnog rada bez ljudskog nadzora još uvijek pravim koracima tek hvataju korak za čovjekom

„Od 2026. godine čini se da je generativna umjetna inteligencija dospjela do samih vrhunaca. No kako izmjeriti njen zamah kada mjerni instrumenti navode na pogrešne tragove, a njihove brojčanike ostaje tako teško odgonetnuti?“

Ova metafora, koju je potpisao ChatGPT u svojoj najnovijoj verziji GPT-6, možda nije sasvim blistava, ali je i dalje daleko solidnija od one koju nam je ponudila njegova inkarnacija iz 2023. godine, GPT-4: „Procjenjivati napredak generativne umjetne inteligencije jednako je pokušaju mjerenja dubine okeana krojačkim metrom: zbunjujuće, nesavršeno, ali fascinantno.“

Očigledno je da su sistemi umjetne inteligencije napredovali. U nekim domenskim segmentima to se odvijalo sporo, u drugima izuzetno brzo. No do koje mjere? Kako bi napravio detaljan radiogram tog napretka, Le Monde je analizirao brojne benchmarke, alate zasnovane na testnim skupovima, doduše nesavršene, ali zasnovane s ciljem da mjere ta dostignuća što preciznije. Ti podaci, često teški za jednoznačno tumačenje, potom su ukršteni sa stavovima vodećih stručnjaka. Rezultati, u mnogome iznenađujući, bacaju novo svjetlo na put koji je prevaljen.

Prva i osnovna odlika sistema generativne umjetne inteligencije jeste sposobnost da obrade i shvate složene tekstove kroz koje prolaze, te da dekodiraju korisnička pitanja, čak i kada su ona prilično nevješto formulirana. Ovi sistemi ostvaruju vrhunske rezultate na testovima razumijevanja teksta, do te mjere da mnogi naučnici tu kompetenciju smatraju praktično „savladanom“ još od kraja 2022. godine.

Ipak, njihove sposobnosti shvatanja i dalje napreduju. Thierry Ménissier, profesor filozofije na Univerzitetu u Grenobleu, ističe: „Njihovi odgovori su danas bogatiji, precizniji i rigorozniji nego 2023. godine, te premašuju kvalitet radova mnogih studenata na master studijama.“ Prema testovima koje je sproveo Le Monde, verzija GPT-6 znatno bolje uočava dvosmislenosti i skrivena značenja u stihovima opreznih ili hermetičnih francuskih šansona.

Poređenje na konkretnom logičkom zadatku plastično ilustruje ovaj skok. Na pitanje o kupovini hrane za mačke, gdje se traži izračun potrepština za domaćinstvo dok je jedna mačka s vlasnikom na putu, stariji model GPT-4 iz polovine 2023. napravio je previd i u računicu za dom uračunao i odsutnu mačku tokom vikenda, dobivši pogrešan zbir od 1,7 kilograma. S druge strane, GPT-6 iz 2026. godine precizno uočava da u domu tokom vikenda ostaju samo dvije mačke, izostavlja odsutnu i daje tačan izračun od 1,9 kilograma.

Međutim, ako se razumijevanje pisanog teksta smatra uglavnom riješenim izazovom, vizuelno razumijevanje to nipošto nije. Najbolji generativni modeli počinju se približavati ljudskom nivou na opštem vizuelnom testu Vista, ali su njihovi rezultati i dalje izuzetno neujednačeni. Predstavnik kompanije Scale.AI, koja je razvila pomenuti benchmark, objašnjava da AI pravi značajne greške „u socijalnom razumijevanju konteksta ili pri dešifriranju slika koje su izuzetno bogate informacijama“.

Indikativan je primjer očitavanja analognih satova sa složenim brojčanicima: GPT-6 uspijeva tačno očitati vrijeme u svega 75 posto slučajeva, dok prosječan čovjek na testu ClockBench ostvaruje tačnost od 91 posto. Ipak, krivulja njihovog napretka i u ovom segmentu raste izuzetno brzo.

Memorijski kapaciteti ovih sistema bili su nadljudski još 2023. godine. U 2026. godini, zahvaljujući drastičnom povećanju broja parametara i neuronskih veza, AI zna još više. GPT-6 pokazuje znatno viši nivo preciznosti od GPT-4 kada su u pitanju usko specijalizirana pitanja iz prirodnih nauka, umjetnosti ili historije. Pored toga, u realnim uslovima rada GPT-6 se rutinski povezuje na mrežne resurse kako bi dohvatio podatke koji mu nedostaju, što modeli iz 2024. nisu činili s takvom automatiziranom pouzdanošću.

„Njihova sposobnost aktiviranja i mobiliziranja akumuliranog znanja više uopće nije upitna“, sažima Clémentine Fourrier, nekadašnja voditeljica odjela za evaluaciju na platformi HuggingFace. „Međutim, njihova sposobnost da to znanje reproduciraju bez grešaka i bez izmišljanja činjenica i dalje predstavlja ozbiljan problem.“

Kada se od modela traži da sažmu obiman tekst, oni i dalje prave gotovo jednak broj grešaka kao i prije tri godine, što potvrđuju podaci sa benchmarka HHEM. Pascal Martinolli, bibliotekar na Univerzitetu u Montrealu, potvrđuje da se u praksi i dalje susreću „brojne zamjene teza, pretjerivanja i pogrešna pojednostavljenja“. Pojava takozvanog „haluciniranja“ ili izmišljanja informacija nije iskorijenjena.

S druge strane, modeli iz 2026. daleko uspješnije pronalaze specifične podatke unutar velikih skupova dokumenata, što dijagnosticira testiranje AA-LCR. Također rijeđe prave greške u memorijskom opozivu te češće „priznaju“ vlastito neznanje, kako navodi AA-Omniscience. Martinolli dodaje da se sposobnost prepoznavanja relevantnih izvora vidno poboljšala te da modeli generiraju manje fiktivnih citata i nepostojećih bibliografskih jedinica. Unatoč tome, stopa tačnih odgovora koja varira između 75 i 95 posto i dalje ostaje ozbiljan hendikep za potpunu primjenu bez kontrole.

Rezoniranje i logičko zaključivanje je polje u kojem je zabilježen najizraženiji skok. Clémentine Fourrier podsjeća da su se 2023. godine modeli mučili da dosegnu nivo rasuđivanja koji ljudi primjenjuju u svakodnevnom životu. Danas je taj problem prevaziđen. Kada im se postavi složeno pitanje, savremeni AI sistemi pronalaze odgovarajuće elemente u svojoj memoriji ili na internetu te ih prilagođavaju strukturi problema. Ta operacija postala je prirodnija od 2025. godine, kada su modeli počeli usvajati tehnologije višefaznog planiranja vlastitog misaonog procesa.

Zbog toga je u 2026. godini za testiranje krajnjih granica umjetne inteligencije potrebno koncipirati izuzetno teške zadatke s kojima se prosječan čovjek rijetko susreće. To uključuje kompleksna pitanja o apstraktnim naučnim studijama ili davanje savjeta za rješavanje kompleksnih konflikata među nepomirljivim akterima.

Kako se procjenjuju ove napredne sposobnosti? Prilikom izrade jednog od najcjenjenijih benchmarka, Humanity’s Last Exam (HLE), kalifornijski Center for AI Safety angažovao je oko 2.500 naučnika sa zadatkom da napišu probleme s same granice svojih užih ekspertskih oblasti. Procenat uspješnosti ChatGPT-a na ovom testu skočio je sa skromnih 2 posto u sredini 2024. godine na čak 55 posto na sredini 2026. godine.

Micah Hill-Smith, suosnivač analitičke kompanije Artificial Analysis, objašnjava da razvojne kuće ulažu ogromne napore kako bi njihovi modeli briljirali na ovom benchmarku, što vjerovatno unekoliko napuhuje konačne ocjene, ali napominje da napredak prvenstveno odražava spektakularno poboljšanje općih sposobnosti rezonovanja.

Nijedan pojedinačni čovjek ne može se približiti rezultatima koje GPT-6 ostvaruje na testu HLE, jer niko ne posjeduje tako široke temeljne uvid u toliko različitih naučnih polja. Rezultat ne odražava nužno nadljudsku sposobnost čistog rezonovanja, koliko „nadljudski kapacitet memorisanja osnova svake pojedinačne nauke“, primjećuje Fourrier.

Najnaglašeniji skok ostvaren je u matematici. Hill-Smith naglašava da su matematički problemi pogodniji za treniranje modela jer za svako pitanje postoji jasan, provjerljiv i demonstrabilan odgovor. Francuski pionir u oblasti neuronskih mreža François Chollet ipak unosi dozu zadrške, ukazujući na ogromne resurse koji se ulažu u ove proboje: angažovane su hiljade povezanih modela koji rade neprekidno, uz utrošak desetina miliona dolara u računarskim kapacitetima, što daleko nadmašuje ulaganja tradicionalne matematičke zajednice. Uz to, AI posjeduje sposobnost da u sekundi poveže ogroman broj naučnih radova, kako savremenih tako i onih zaboravljenih.

Međutim, ako je matematika pokazatelj sirove logike, u mnogim profesijama socijalna i emocionalna inteligencija igraju jednako važnu ulogu. Catherine Pelachaud, stručnjakinja za socijalnu AI pri francuskom Nacionalnom centru za naučna istraživanja (CNRS), upozorava da su ovi sistemi još uvijek daleko od sposobnosti da se prirodno uklope u složene društvene odnose. Razlog leži i u tome što je emotivnu inteligenciju izuzetno teško mjeriti, jer ne postoje univerzalno prihvaćeni tačni odgovori.

Iako široko dostupna generativna AI još nije proslavila ni svoj četvrti rođendan, mnogi stručnjaci već teško mogu zamisliti svakodnevni rad bez nje, bilo da je riječ o pretraživanju informacija ili analitičkoj podršci. U pojedinim sektorima, poput prevođenja teksta ili pisanja programskog koda, AI je postala centralni proizvodni alat. Pitanje koje mnogi benchmarkovi sada postavljaju jeste: kada slijedi direktna supstitucija ljudske radne snage?

Sudeći prema evaluacijama Tau-bench, poslovi mrežne korisničke podrške ozbiljno su ugroženi, jer su performanse AI u ovom sektoru eksplodirale. Ipak, Hill-Smith upozorava da ovi testovi simuliraju klijente pomoću drugih AI modela, čime se stvarna kompleksnost ljudske interakcije samo djelimično replicira. S druge strane, kada se pred AI postave ekspertski zadaci koji čovjeku oduzimaju dane predanog rada, poput analiza u pravu (Vals), finansijama (Scale) ili općim poslovnim procesima (Stanford), sistemi i dalje često prave greške koje konačni proizvod čine neupotreblijvim bez ljudske intervencije.

U većini profesija AI modeli i dalje zahtijevaju stalan nadzor stručnjaka kako ne bi skrenuli s kolosijeka. Međutim, kada se kompleksne misije rastave na manje podzadatke, AI uspješno rješava sve veći broj pojedinačnih koraka, ovladavajući sve dužim i sofisticiranijim radnim operacijama.

Ne ulazeći u pitanje radikalne stvaralačke inventivnosti kakvu su imali James Joyce ili Marcel Duchamp, studije pokazuje da je AI još tokom 2023. i 2024. posjedovala određeni oblik tekstualne kreativnosti. Mjerenja na benchmarkcima WritingBench i EQbench Creative Writing potvrđuju da je stilska i literarna dimenzija ovih sistema dodatno napredovala.

Spisateljske sposobnosti modela GPT-6 evidentno prevazilaze domete modela GPT-4 u formama kao što su epistolarna razmjena, dječije priče ili pisanje u stihu. Unatoč tom napretku, stilska izvedba često zadržava dozu akademske uzdržanosti. Generativna umjetna inteligencija time ostaje izuzetno moćan poligon za razradu ideja i strukturiranje teksta, ali konačna iskra autentičnosti i dalje primarno zavisi od ljudskog usmjeravanja.

IZVOR: Bosna.hr, Le Monde