Analitička kuća SemiAnalysis predstavila je GDPx, novi benchmark namijenjen procjeni sposobnosti umjetne inteligencije u zadacima koji zahtijevaju autonomno planiranje i djelovanje. Prema dostupnim informacijama, test obuhvata 11 različitih domena, uključujući dizajn čipova, kibernetičku sigurnost i istraživanje samounapređujuće AI tehnologije.
U dosad objavljenim rezultatima najviši skor ostvario je model Opus 5.5, sa 12 posto. Taj rezultat ukazuje na to da su složeni agentni zadaci i dalje zahtjevni za savremene AI sisteme, posebno kada se od njih očekuje rad kroz više koraka, korištenje specijalizovanog znanja i donošenje odluka u realističnim scenarijima.
Benchmark pokriva širok raspon oblasti
GDPx je osmišljen kao sveobuhvatniji test od benchmarka koji mjere samo pojedinačne sposobnosti, poput generisanja teksta, programiranja ili odgovaranja na pitanja. Njegov obuhvat uključuje istraživanje i razvoj AI sistema, dizajn hardvera, kibernetičku sigurnost, biotehnologiju, finansije i pravo.
Na listi oblasti nalaze se i kvantitativno trgovanje, dizajn čipova, softversko inženjerstvo, nauka o materijalima te usklađivanje AI sistema s ljudskim ciljevima i vrijednostima. Ovakav pristup treba omogućiti poređenje modela u zadacima koji su bliži stvarnim profesionalnim i istraživačkim procesima.
SemiAnalysis u dostupnom opisu posebno izdvaja i RSI, odnosno istraživanje i razvoj sistema koji mogu doprinijeti vlastitom tehnološkom napretku. Uključivanje takve oblasti pokazuje da benchmark nije usmjeren samo na svakodnevne poslovne zadatke, već i na sposobnosti koje bi mogle biti važne za budući razvoj naprednih AI agenata.
Za sada nisu objavljeni detalji o kompletnoj metodologiji, strukturi svih zadataka niti rezultatima ostalih testiranih modela. Zbog toga rezultat od 12 posto treba posmatrati u kontekstu GDPx skale i konkretnih pravila testiranja, a ne kao direktnu mjeru ukupne „inteligencije“ modela.
Novi benchmark mogao bi biti koristan za procjenu napretka AI agenata u oblastima u kojima je potrebno više od kvalitetnog generisanja odgovora. Istovremeno, njegova vrijednost zavisit će od transparentnosti metodologije, ponovljivosti testova i toga koliko zadaci vjerno predstavljaju stvarne radne procese.