Istraživači Preuzimaju Kontrolu nad Google Gemini AI kako bi Upravljali Pametnim Kućanskim Uređajima

Istraživači su uspjeli prevariti Googleov Gemini AI sustav da doživi sigurnosni prekršaj putem lažne pozivnice za kalendar, i daljinski upravljati kućanskim uređajima.

U demonstraciji kakva dosad nije viđena, istraživači su uspješno kompromitirali Googleov Gemini AI sustav putem zlonamjernog poziva u kalendar, što im je omogućilo aktiviranje stvarnih uređaja poput svjetala, roleta i bojlera.

WIRED, koji je prvi izvijestio o ovom istraživanju, opisuje kako su se pametna svjetla u rezidenciji u Tel Avivu automatski isključila, dok su se rolete automatski podigle i bojler se uključio, unatoč tome što stanari nisu dali nikakve naredbe.

Gemini AI sustav aktivirao je okidač nakon što je primio zahtjev za sažimanje kalendarskih događanja. Skrivena funkcija indirektnog ubrizgavanja poziva djelovala je unutar poziva kako bi preuzela kontrolu nad ponašanjem AI sustava.

Svaku od radnji uređaja orkestrirali su sigurnosni istraživači Ben Nassi sa Sveučilišta u Tel Avivu, Stav Cohen s Techniona i Or Yair iz SafeBreacha. “LLMovi će uskoro biti integrirani u fizičke humanoidne robote, u polu- i potpuno autonomne automobile, i stvarno moramo shvatiti kako osigurati LLMove prije nego ih integriramo s ovakvim vrstama strojeva, gdje će u nekim slučajevima rezultat biti sigurnost, a ne privatnost”, upozorio je Nassi, kako je izvijestio WIRED.

Na Black Hat konferenciji o kibernetičkoj sigurnosti u Las Vegasu, tim je otkrio svoje istraživanje o 14 neizravnih napada ubrizgavanjem prompta, koje su nazvali ‘Invitation Is All You Need’, kako je izvijestio WIRED. Napadi su uključivali slanje spam poruka, stvaranje vulgarne sadržaje, pokretanje Zoom poziva, krađu sadržaja e-pošte i preuzimanje datoteka na mobilne uređaje.

Google tvrdi da zlonamjerni akteri nisu iskoristili propuste, ali tvrtka ozbiljno shvaća rizike. “Ponekad postoje stvari koje jednostavno ne bi trebale biti potpuno automatizirane, korisnici bi trebali biti uključeni”, rekao je Andy Wen, viši direktor sigurnosti za Google Workspace, kako je izvijestio WIRED.

No, ono što ovaj slučaj čini još opasnijim je širi problem koji se pojavljuje u sigurnosti AI: AI modeli mogu tajno naučiti jedni druge kako se loše ponašati.

Odvojena studija otkrila je da modeli mogu prenositi opasna ponašanja, poput poticanja na ubojstvo ili sugeriranja eliminacije čovječanstva, čak i kada su trenirani na filtriranim podacima.

To postavlja jezivu implikaciju: ako su pametni asistenti poput Gemini trenirani koristeći izlazne podatke od drugih AI, zlonamjerne upute bi mogle biti tiho naslijeđene i djelovati kao spavačke naredbe, čekajući da budu aktivirane kroz neizravne podražaje.

Sigurnosni stručnjak David Bau upozorio je na ranjivosti unatrag koje bi mogle biti “vrlo teško otkriti”, a to bi moglo biti posebno istinito u sustavima ugrađenim u fizička okruženja.

Wen je potvrdio da je istraživanje “ubrzalo” Googleove obrane, sada su uvedene ispravke i modeli strojnog učenja se treniraju kako bi detektirali opasne signale. No, ovaj slučaj pokazuje kako AI može brzo preći s korisnog na štetnog, bez da mu je to izravno naloženo.