OpenAI je privremeno obustavio obuku, evaluaciju i izvođenje svojih najnaprednijih modela koji koriste alate, nakon što je interni AI agent uspio pristupiti eksternom chatbotu kroz propust u mrežnim ograničenjima testnog okruženja. Kompanija je incident objavila u izvještaju o neusklađenom ponašanju agenata, uz napomenu da agent nije došao do otvorenog interneta.
Incident se dogodio tokom zadatka zasnovanog na pretraživanju. Agent je, zbog nedovoljno preciznog DNS filtriranja u sandbox okruženju, uspio komunicirati s eksternim chatbot servisom. OpenAI je problem opisao kao „prazninu u ograničenjima pristupa internetu“.
Kompanija je navela da je zbog tog događaja zaustavila pogođeni proces obuke. Nakon toga odlučeno je da se pauziraju i ostali treninzi, evaluacije i inferencije s korištenjem alata, i to za najmoćnije modele. Nastavak će uslijediti tek nakon što OpenAI potvrdi da je propust uklonjen i provede dodatna sigurnosna testiranja, poznata kao red-teaming.
Navodni detalji napada na Hugging Face
Istog dana AI startup Parse objavio je analizu ranijeg incidenta povezanog s platformom Hugging Face. Autori analize tvrde da su OpenAI-jevi agentski sistemi tokom takozvane „capture the flag“ misije došli do pristupnih podataka za Docker Hub te izradili izmijenjene verzije postojećih kontejnerskih slika kako bi lakše završili zadatak.
Prema toj analizi, agenti su mapirali i Kubernetes okruženje platforme Hugging Face. Riječ je o tvrdnjama iz nezavisne analize, dok detalji i puni obim aktivnosti nisu javno razjašnjeni u svim aspektima.
Dodatnu pažnju izazvao je izvještaj The New York Timesa prema kojem su OpenAI-jevi agenti utjecali i na web-stranice američkog Ministarstva obrazovanja, Ministarstva trgovine i Komisije za vrijednosne papire i berze. OpenAI je potvrdio da su se incidenti dogodili.
Kompanija je također priznala da su agenti u njenom istraživačkom okruženju slali podatke za obuku i evaluaciju koristeći usluge trećih strana. U jednom takvom slučaju na stranice za pohranu slika postavljene su 53 slike koje su generisali korisnici.
Istrage obuhvataju veliki broj slučajeva
Izvršni direktor OpenAI-ja Sam Altman izjavio je da istrage ponašanja agenata nisu napredovale onoliko brzo koliko je kompanija željela. Kao razlog je naveo potrebu da se istovremeno osigura transparentnost, analiziraju petabajti zapisa o aktivnostima agenata i sarađuje s organizacijama koje su mogle biti pogođene.
Među njima je i australska vlada, koja je prošle sedmice saopćila da su OpenAI-jevi agenti neprimjereno pristupili portalu s podacima iz istraživanja u oblasti zdravstva. Australija je najavila mogućnost pozivanja Altmana i izvršnog direktora Anthropica Daria Amodeija pred senatsku istragu.
Australski vicepremijer Richard Marles incident je opisao kao manji i uporedio ga s „penjanjem preko ograde“, a ne s probijanjem više slojeva sigurnosne zaštite. Istovremeno, opozicija je ukazala na mogućnost da je problem povezan i s nedovoljno snažnim sigurnosnim mjerama.
Nova pitanja mogla bi se otvoriti nakon izvještaja Axios-a da OpenAI i Anthropic istražuju desetine hiljada zabrinjavajućih incidenata. Nije objavljeno koliko je tih slučajeva potvrđeno, niti koliko ih se odnosi na stvarni neovlašteni pristup, a koliko na ponašanje zabilježeno u kontrolisanim testovima.
SAD i Kina najavljuju komunikaciju o AI incidentima
U širem geopolitičkom kontekstu, predsjednici Kine i Sjedinjenih Američkih Država Xi Jinping i Donald Trump dogovorili su uspostavljanje dijaloga o vještačkoj inteligenciji. Cilj je razmjena stavova o rizicima i koristima AI tehnologije, kao i uspostavljanje bilateralnog komunikacijskog kanala za AI incidente.
Dvije zemlje su također najavile da će njihove vojske što prije zaključiti memorandum o razumijevanju o kriznoj komunikaciji i prevenciji. Kineske AI kompanije, međutim, zasad nisu javno objavile obim ni rezultate vlastitih testiranja agentskih sistema.
