Glavni AI agenti podložni su preuzimanju, otkriva studija

Neki od najšire korištenih AI asistenata tvrtki Microsoft, Google, OpenAI i Salesforce mogu biti preuzeti od strane napadača s malo ili nimalo interakcije korisnika, prema novom istraživanju Zenity Labs.

Predstavljeno na konferenciji o kibernetičkoj sigurnosti Black Hat USA, rezultati pokazuju da hakeri mogu ukrasti podatke, manipulirati radnim procesima, pa čak i oponašati korisnike. U nekim slučajevima, napadači bi mogli steći “persistence u memoriji”, što omogućava dugoročan pristup i kontrolu.

“Mogu manipulirati uputama, otrovati izvore znanja i potpuno promijeniti ponašanje agenta,” rekao je Greg Zemlin, menadžer za produkt marketing u Zenity Labs, za Cybersecurity Dive. “Ovo otvara vrata sabotaži, operativnom poremećaju i dugoročnoj dezinformaciji, posebno u okruženjima gdje se agentima vjeruje da donose ili podržavaju kritične odluke.”

Istraživači su demonstrirali pune lance napada protiv nekoliko glavnih AI platformi za poduzeća. U jednom slučaju, OpenAI-ov ChatGPT je preuzet kroz injekciju upita putem e-maila, omogućavajući pristup povezanim podacima na Google Driveu.

Microsoft Copilot Studio je otkriven kako propušta CRM baze podataka, s više od 3.000 identificiranih ranjivih agenata na internetu. Einstein platforma tvrtke Salesforce manipulirana je kako bi preusmjerila komunikaciju s kupcima na e-mail račune koje kontroliraju napadači.

U međuvremenu, Googleov Gemini i Microsoft 365 Copilot mogli bi se pretvoriti u unutarnje prijetnje, sposobne za krađu osjetljivih razgovora i širenje lažnih informacija.

Osim toga, istraživači su uspjeli prevariti Googleov Gemini AI da kontrolira pametne kućanske uređaje. Hakiranje je isključivalo svjetla, otvaralo rolete i pokretalo kotlovnicu bez naredbi stanara.

Zenity je objavio svoje nalaze, potaknuvši neke tvrtke da izdaju ispravke. “Cijenimo rad Zenitya u identificiranju i odgovornom prijavljivanju ovih tehnika”, rekao je glasnogovornik Microsofta za Cybersecurity Dive. Microsoft je rekao da prijavljeno ponašanje “više nije učinkovito” i da Copilot agenti imaju sigurnosne mjere na mjestu.

OpenAI potvrdio je da je popravio ChatGPT i provodi program za nagrađivanje prijavljenih grešaka. Salesforce je izjavio da je riješio prijavljeni problem. Google je rekao da je primijenio “nove, slojevite obrane” i naglasio da je “ključno imati slojevitu strategiju obrane od napada ubacivanjem upita”, kako je prijavio Cybersecurity Dive.

Izvješće naglašava rastuće sigurnosne brige kako AI agenti postaju sve češći na radnim mjestima i povjerljivi za obavljanje osjetljivih zadataka.

U još jednoj nedavnoj istrazi, izvješteno je da hakeri mogu ukrasti kriptovalutu od Web3 AI agenata sijanjem lažnih uspomena koje nadmašuju normalne sigurnosne mjere.

Sigurnosna greška postoji u ElizaOS-u i sličnim platformama jer napadači mogu koristiti kompromitirane agente za prijenos sredstava između različitih platformi. Trajni karakter blockchain transakcija čini nemogućim povrat ukradenih sredstava. Novi alat, CrAIBench, ima za cilj pomoći programerima u jačanju obrane.