AI agenti prevareni lažnim sjećanjima, omogućujući krađu kriptovalute

Novo istraživanje otkrilo je značajne sigurnosne propuste u Web3 AI-pogonjenim agentima, koji omogućuju napadačima korištenje lažnih uspomena za izvođenje neovlaštenih prijenosa kriptovaluta.

Istraživači s Princetonskog sveučilišta i Sentient Foundation otkrili su da su ovi AI agenti, dizajnirani za obavljanje zadataka temeljenih na blockchainu poput trgovanja kriptovalutama i upravljanja digitalnim sredstvima, ranjivi na taktiku koja se zove manipulacija kontekstom.

Napad funkcionira tako da cilja na memoriju platformi poput ElizaOS-a, koja stvara AI agente za decentralizirane aplikacije. Memorija ovih agenata pohranjuje prethodne razgovore kako bi ih koristili kao vodič za svoje buduće izbore.

Istraživači su pokazali da napadači mogu ugraditi zavaravajuće naredbe u memorijalni sustav, navodeći AI da pošalje sredstva iz namijenjenog novčanika u novčanik pod kontrolom napadača. Zastrašujuće je što ove lažne memorije mogu putovati između platformi.

Na primjer, agent koji je kompromitiran na Discordu kasnije bi mogao vršiti pogrešne prijenose putem X-a, ne shvaćajući da nešto nije u redu.

Ono što ovu situaciju čini posebno opasnom je činjenica da standardne obrambene mjere ne mogu zaustaviti ovu vrstu napada. Tretiranje lažnih sjećanja kao stvarnih uputa čini osnovne mjere sigurnosti bazirane na upitima neučinkovitima protiv ove vrste napada.

Sve transakcije na blockchainu postaju trajne pa ne postoji mogućnost vraćanja ukradenih sredstava. Problem je još gori jer određeni AI agenti pohranjuju memoriju preko više korisnika pa jedan sigurnosni propust može utjecati na mnoge korisnike.

Istraživački tim testirao je nekoliko načina za sprječavanje ovoga, uključujući podešavanje AI treninga i zahtijevanje ručnog odobrenja za transakcije. Iako ovi pristupi nude određenu nadu, dolaze po cijeni usporavanja automatizacije.

Problem nadmašuje kriptovalute. Ista ranjivost mogla bi utjecati na općenite AI asistente, riskirajući curenje podataka ili štetne radnje ako napadači izmijene njihovu memoriju.

Ova ranjivost je posebno zastrašujuća u svjetlu nedavnih otkrića gdje 84% IT lidera vjeruje AI agentima jednako ili više nego ljudskim zaposlenicima, a 92% očekuje da će ovi sustavi unutar 12 do 18 mjeseci donijeti poslovne rezultate.

Da bi se riješio problem, istraživači su izdali alat pod nazivom CrAIBench kako bi pomogli programerima da testiraju svoje sustave i izgrade jače obrane. Do tada, stručnjaci upozoravaju korisnike da budu oprezni kada povjeravaju financijske odluke AI agentima.