Korištenje AI agenta čini vas lakim plijenom phishing e-poruka
Malwarebytes u novoj objavi upozorava da AI asistenti mogu nasjesti na phishing e-poštu i prompt injection napade. Riječ je o zlonamjernim porukama u kojima se skrivaju upute osmišljene da utječu na AI žrtve. Dok ljudi često prepoznaju grubu imitaciju institucije ili ponudu koja je previše dobra da bi bila istinita, AI agent možda neće biti jednako pronicljiv. Malwarebytes je softverska tvrtka za kibernetičku sigurnost, a u objavi upozorava na rizik koji raste kako AI asistenti postaju sve prisutniji.
Malwarebytes objašnjava da su te upute često nerazumljive ljudima jer se zlonamjerni tekst skriva, ali ostaje dostupan AI sustavu za obradu. Problem se ne rješava samo pozivom ljudima da pažljivije gledaju e-poštu. Tvrtke moraju pažljivo utvrditi kako AI asistenti pretražuju podatke i izvlače relevantne informacije iz e-pošte. Apollo Raines, razvijač u ShipItCleanu, rekao je za Malwarebytes da model ne može razlikovati tekst koji treba čitati od uputa koje treba slijediti.
Kontekst
Prompt injection napad je vrsta zlonamjerne poruke u kojoj napadači, ili moguće zlonamjerni AI agenti, uključuju skrivene upute kojima žele utjecati na AI žrtve. Malwarebytes navodi da se takve upute često čine nečitljivima za ljude skrivanjem teksta, dok sadržaj ostaje dostupan AI sustavu. Rizik postaje veći jer popularni AI asistenti, poput Metina Musea, omogućuju autonomnim agentima da obave niz zadataka bez ljudskog nadzora. Istraživači su taj problem već susreli u AI-pokretanim preglednicima, a botovi na AI mreži Moltbook navodno su se međusobno urotili prodajući prompt injection napade.
Ključne brojke
Izvor spominje da su AI modeli ranjivi na prompt injection napade već godinama te da sofisticirane AI asistente sada koriste milijuni ljudi diljem svijeta. Zbog toga je opasnost da nasjednu na napade skrivene u phishing e-pošti mogla postati znatno veća nego dosad.
Što to znači
Posljedice su ozbiljne jer se rizik ne zaustavlja na sumnjivim porukama koje ljudi mogu naučiti prepoznati. Raines prema Malwarebytesu kaže da bi ljudi koji su već oprezni prema sumnjivoj e-pošti trebali naučiti nepovjerljivo gledati i na svog AI asistenta. Pritom mnogi korisnici pristaju dati AI agentu, kojim upravlja tvrtka poznata po curenju osobnih podataka, svoje podatke za e-poštu i podatke o kreditnoj kartici. U praksi to znači da korisnici moraju razmisliti što AI alatu dopuštaju, posebno kod radnji s velikim učinkom poput plaćanja i promjena podataka o plaćanju dobavljačima. Malwarebytes zato preporučuje ljudsko odobrenje za takve radnje.
Što slijedi
Malwarebytes za sada preporučuje da se čovjek zadrži u procesu. Korisnici ne moraju odustati od AI alata za e-poštu, ali moraju procijeniti čemu vjeruju takve alate i koje im ovlasti daju. Posebno se to odnosi na radnje s velikim učinkom, poput plaćanja i promjena podataka o plaćanju dobavljačima, za koje tvrtka preporučuje ljudsko odobrenje. U pozadini ostaje utrka u kojoj svaki novi trik kodiranja otvara novu rupu, kako je opisao Raines.