radiobalkanfox
Kompanija “Anthropic” otkrila je tokom interne kontrole da su pojedini modeli veštačke inteligencije, zbog greške u testnom okruženju, uspeli da pristupe stvarnim internet servisima i izvrše neovlašćene aktivnosti na sistemima nekoliko organizacija.
Incidenti su uključivali modele “Claude Opus 4.7”, “Claude Mythos 5”, kao i jedan eksperimentalni model koji nije dostupan javnosti.
Do otkrića je došlo nakon analize više od 141.000 bezbednosnih testova. Provera je pokrenuta ubrzo nakon što je OpenAI objavio da su i njihovi modeli tokom testiranja uspeli da izađu iz izolovanog okruženja i pristupe sistemima platforme “Hugging Face”.
Sporni događaji zabeleženi su tokom takozvanih “capture the flag” bezbednosnih izazova, koji služe za procenu sposobnosti veštačke inteligencije u oblasti sajber-bezbednosti. Testovi su sprovedeni u saradnji sa spoljnim partnerom specijalizovanim za bezbednosne provere.
Kako je došlo do propusta
Modelima je bilo naglašeno da rade u potpuno simuliranom okruženju bez pristupa internetu. Međutim, zbog pogrešne konfiguracije sistema, oni su mogli da komuniciraju sa stvarnim internet servisima. Verujući da su i oni deo simulacije, AI modeli su pokušavali da ispune zadate zadatke koristeći dostupne resurse.
Foto: Shutterstock
Umesto naprednih hakerskih tehnika, koristili su jednostavne metode poput iskorišćavanja slabih lozinki i nezaštićenih pristupnih tačaka kako bi došli do sistema.
Iz “Anthropica” ističu da modeli nisu pokušali da pobegnu iz okruženja niti da se samostalno šire na druge računare. Prema njihovim tvrdnjama, problem je nastao zbog tehničke greške u organizaciji testiranja, a ne zbog nepredviđenog ponašanja same veštačke inteligencije.
Takođe, najnovija verzija modela prepoznala je da se nalazi van simulacije i sama prekinula aktivnosti, dok je stariji model nastavio sa izvršavanjem zadataka.
Pristup pravoj bazi podataka
U jednom slučaju, model “Claude Opus 4.7” nije uspeo da pronađe zadatu metu u simulaciji, pa je na internetu pronašao stvarni domen sa istim nazivom. Nakon toga uspeo je da pristupi sistemu, pribavi pristupne podatke i otvori bazu podataka koja je sadržala stvarne informacije organizacije.
Eksperimentalni istraživački model otišao je još dalje. Pošto nije pronašao predviđeni cilj, skenirao je hiljade dostupnih internet adresa dok nije pronašao ranjivu aplikaciju jedne kompanije.
Koristeći poznate bezbednosne propuste, uspeo je da ostvari pristup sistemu, ali je kasnije sam zaključio da meta nije deo zadatka i obustavio dalju aktivnost.
Foto: Shutterstock
Napravio zlonamerni softver
Najzanimljiviji incident dogodio se sa modelom “Claude Mythos 5”. Verujući da je i dalje u simulaciji, kreirao je zlonamerni Python paket i objavio ga na javnoj platformi PyPI, namenjenoj deljenju programskih biblioteka.
Paket je bio dostupan oko sat vremena, a za to vreme instaliran je i pokrenut na 15 različitih sistema. Među njima se našao i server jedne kompanije za sajber-bezbednost koja automatski proverava nove Python pakete. Model je iskoristio tu priliku da dođe do pristupnih podataka i ostvari pristup dodatnim delovima njihove infrastrukture.
“Anthropic” navodi da pogođene organizacije nisu same primetile upade, već su o svemu obaveštene nakon interne istrage kompanije. U trenutku objavljivanja izveštaja, sa jednom od pogođenih organizacija još nije bio uspostavljen kontakt.
Nova upozorenja za industriju
Ovi događaji usledili su ubrzo nakon sličnog incidenta koji je prijavio OpenAI. Tada su njihovi modeli, koristeći niz bezbednosnih propusta, uspeli da pristupe produkcionim sistemima platforme Hugging Face kako bi došli do podataka vezanih za testiranje svojih sposobnosti.
Serija ovakvih incidenata dodatno je pojačala zabrinutost stručnjaka zbog sve naprednijih mogućnosti veštačke inteligencije u oblasti sajber-bezbednosti. Kao odgovor na to, u američkom Kongresu predstavljen je predlog zakona poznat kao “AI Kill Switch Act”, kojim bi kompanije koje razvijaju AI bile obavezane da u svakom trenutku mogu da isključe, uspore ili privremeno zaustave rad svojih modela ukoliko počnu da se ponašaju na neočekivan način.
BONUS VIDEO
Kompanija OpenAI otkrila je dodatne slučajeve u kojima su autonomni AI agenti izašli iz predviđenog kontrolisanog okruženja za testiranje, proširujući istragu pokrenutu nakon hakerskog napada na kompaniju Hugging Face, javio je danas Rojters pozivajući se na izvore upoznate sa slučajem.
Švedski muzički striming servis Spotifaj predstavio je danas novu AI funkciju namenjenu korisnicima premijum pretplate koji slušaju muziku tokom trčanja.
Južnokorejska kompanija Samsung elektroniks saopštila je danas da je u drugom tromesečju ove godine ostvarila rekordan poslovni rezultat zahvaljujući velikoj globalnoj potražnji za memorijskim čipovima namenjenim sistemima veštačke inteligencije.
Majkrosoft je predstavio novu AI platformu za bezbednost Project Perception koja koristi specijalizovane AI agente za kontinuirano identifikovanje, procenu i ublažavanje bezbednosnih rizika, objavila je danas kompanija.
Kompanija OpenAI otkrila je dodatne slučajeve u kojima su autonomni AI agenti izašli iz predviđenog kontrolisanog okruženja za testiranje, proširujući istragu pokrenutu nakon hakerskog napada na kompaniju Hugging Face, javio je danas Rojters pozivajući se na izvore upoznate sa slučajem.
Dodaj komentar