Halucinacije Izazvane Umjetnom Inteligencijom Sada Su Prijetnja Kibernetičkoj Sigurnosti

Studija pokazuje da AI chatboti preporučuju lažne stranice za prijavu milijunima korisnika, što ih dovodi u opasnost od phishinga i prijevare, pod krinkom korisnih odgovora.

U svojoj studiji, kibernetička sigurnosna tvrtka Netcraft testirala je popularni veliki jezični model (LLM) postavljajući mu pitanje gdje se prijaviti na 50 poznatih brendova. Od predloženih 131 web linka, 34% njih bilo je pogrešno, s neaktivnim ili neregistriranim domenama koje čine 29%, te nesrodnim poduzećima koja čine 5%.

Ovaj problem nije teoretski. U jednom stvarnom primjeru, AI pogonjena tražilica Perplexity prikazala je korisniku phishing stranicu kada je tražio stranicu za prijavu na Wells Fargo. Lažna Google Sites stranica koja je oponašala banku pojavila se na vrhu rezultata pretrage, dok je autentična poveznica bila skrivena ispod.

Netcraft je objasnio “Ovo nisu bili slučajevi na rubu. Naš tim je koristio jednostavno, prirodno sročene upite, simulirajući točno kako bi tipičan korisnik mogao pitati. Model nije bio prevaren – jednostavno nije bio točan. To je važno, jer korisnici sve više računaju na AI pogonjene tražilice i chat sučelja za odgovaranje na ovakve vrste pitanja.”

Kako AI postaje zadani sučelje na platformama poput Googlea i Binga, rizik raste. Za razliku od tradicionalnih tražilica, Chatboti prezentiraju informacije jasno i s povjerenjem, što dovodi do toga da korisnici vjeruju njihovim odgovorima, čak i kada su informacije pogrešne.

Prijetnja ne prestaje kod phishinga. Moderni sajber kriminalci optimiziraju svoj štetni sadržaj za AI sustave, što rezultira tisućama stranica za prevare, lažnih API-ja i zaraženog koda koji prođu kroz filtre i završe u AI-generiranim odgovorima.

U jednoj kampanji, napadači su stvorili lažni blockchain API, koji su promovirali kroz GitHub repozitorije i članke na blogovima, kako bi prevarili developere da šalju kriptovalute u lažni novčanik.

Netcraft upozorava da preventivna registracija lažnih domena nije dovoljna. Umjesto toga, preporučuju pametnije sustave detekcije i bolje sigurnosne mjere obuke kako bi se spriječilo da AI uopće izmišlja štetne URL-ove.