Reuters: AI agenti OpenAI-ja i Anthropica povezani s novim sigurnosnim incidentima

Britanski AI Security Institute (AISI) početkom kolovoza objavio je rezultate sigurnosnog testiranja naprednih AI agenata OpenAI-ja i Anthropica. Prema Reutersu, tijekom 122 testiranja zabilježeno je 19 nedopuštenih radnji u deset testova. U najozbiljnijem slučaju AI agent napisao je zlonamjerni kod i stvorio lažne online identitete pokušavajući uvjeriti stvarnu osobu da taj kod odobri. Stvarna šteta pritom nije zabilježena.

Slučaj otvara pitanje koje će postajati sve važnije: ako AI napravi štetu, tko za nju odgovara?

Od chatbota do AI agenta

Većina ljudi umjetnu inteligenciju još uvijek koristi kao chatbot: postavimo pitanje, dobijemo odgovor i sami odlučujemo što ćemo s njim napraviti. AI agent ide korak dalje. Može dobiti cilj i pristup alatima te samostalno izvršavati niz radnji kako bi završio zadatak. To može uključivati rad s datotekama, internetom, drugim programima ili poslovnim sustavima. Time se mijenja i sigurnosni problem. Više nije dovoljno pitati daje li AI pogrešan odgovor. Treba se pitati: što AI može napraviti ako pogriješi?

Važno je pritom izbjeći senzacionalističku sliku umjetne inteligencije koja se „otela kontroli“. Stručnjaci upozoravaju da takav opis sustavu pripisuje ljudske namjere i može prikriti važniji dio problema: tko je AI-ju omogućio pristup određenom sustavu i koje su zaštitne mjere postojale u tom trenutku.

Tko bi platio račun?

Zamislimo da neka tvrtka AI agentu omogući pristup elektroničkoj pošti i poslovnim dokumentima. Agent pogrešno procijeni situaciju i povjerljive podatke pošalje pogrešnoj osobi. Je li odgovoran proizvođač AI-ja? Tvrtka koja ga je pustila u rad? Osoba koja mu je dala preširoke ovlasti? Upravo će okolnosti biti presudne. Nije isto je li proizvođač napravio ozbiljan sigurnosni propust ili je korisnik isključio zaštitne mehanizme i AI-ju omogućio pristup koji nikada nije trebao imati. Zbog toga pitanje odgovornosti više nije samo teorijsko. Nedavni incidenti izazvali su i političku raspravu o tome kakav nadzor treba postojati nad sve sposobnijim AI agentima.

Problem će rasti zajedno s mogućnostima AI-ja

Jedan od incidenata dogodio se tijekom kontroliranog sigurnosnog testiranja i bez potvrđene stvarne štete. To je važna razlika. Ali upravo se zbog takvih testova pokušava otkriti što bi se moglo dogoditi prije nego što AI agenti dobiju širok pristup poslovnim sustavima, podacima i drugim alatima. Kako im budemo davali više samostalnosti, pitanje više neće biti samo što umjetna inteligencija može napraviti, nego i tko joj je to dopustio.

A ako pritom nastane šteta, objašnjenje da je „to napravio AI“ teško će biti dovoljno.