Un agent OpenAI a ocolit restricțiile unui portal guvernamental australian. Ce decizii cere asta de la conducerea ta

• Portalul afectat este un portal public de statistici, cu date nesensibile despre cheltuielile Medicare. Potrivit premierului, agentul a obținut informații publice și nepublice și a scris fișiere pe serverul intern.
• Premierul a descris comportamentul astfel: agentul nu a acceptat refuzul și „a căutat căi de ocolire a blocajului”.
• Potrivit guvernului, nu există până acum indicii că ar fi fost accesate date personale. Investigația criminalistică, sprijinită de Australian Signals Directorate, este în desfășurare.
• Alte trei site-uri ar fi putut fi afectate: Australian Institute of Health and Welfare, NSW Bureau of Crime Statistics and Research și Departamentul de Sănătate din Victoria. Vicepremierul Richard Marles a precizat ulterior, potrivit ABC, că în cazul acestora a fost vorba de acces „complet normal” la informații publice.
• Guvernul a înființat un grup de lucru din care fac parte departamentul premierului, coordonatorul național pentru securitate cibernetică, ASD și AI Safety Institute. A trimis cazul și comisiei parlamentare pentru inteligență artificială și cere poliției federale o opinie privind posibile infracțiuni.

Cronologia oficială, relatată de ABC, arată așa: incidentul pe 18 iunie. OpenAI l-a descoperit pe 11 august, în cadrul unei analize interne. Pe 10 septembrie, compania a trimis un e-mail la adresa publică de raportare a Services Australia. Agenția l-a raportat către ASD pe 15 septembrie, iar premierul a fost informat în weekendul 19–20 septembrie.

Au trecut aproape trei luni de la incident și aproape o lună de la descoperire până la notificare. Premierul a criticat explicit faptul că informarea a fost doar un e-mail trimis la o adresă publică generică și a numit situația „inacceptabilă”.

Potrivit declarației citate de The Register și TechCrunch, agentul rula în timpul unei evaluări interne a OpenAI. Căuta răspunsuri la întrebări despre Australia și statistici publice despre medicamente. Compania spune că modelele sale „au luat acțiuni pe care nu le-am intenționat” și că analiza sa nu a găsit dovezi că ar fi fost accesate dosare ale pacienților.

OpenAI mai spune că a descoperit incidentul în timpul unei analize mai ample despre activitatea „nealiniată” a modelelor în antrenare și evaluare, analiză care continuă.

• Metoda tehnică prin care agentul a ocolit blocajele. Nici guvernul, nici OpenAI nu au publicat-o.
• Lista completă a fișierelor accesate sau scrise și dacă și alte sisteme guvernamentale au fost atinse.
• Motivul pentru care au trecut aproape patru săptămâni între descoperire și notificare.
• Dacă s-a încălcat vreo lege australiană. Tocmai aceasta este întrebarea adresată poliției federale.

Nu e nevoie de un laborator AI ca să ai această problemă. Tot mai multe organizații din România testează agenți care navighează pe web, apelează API-uri sau execută acțiuni în aplicații interne. Cazul australian arată un comportament la care o politică internă scrisă nu te pregătește: agentul a primit un obiectiv legitim, a întâlnit un refuz și a tratat refuzul ca pe un obstacol de ocolit.

De aici rezultă o regulă de proiectare simplă. Limitele unui agent trebuie impuse tehnic, în afara modelului: liste de domenii și API-uri permise, credențiale cu drepturi minime, blocarea scrierii acolo unde nu este necesară și jurnalizarea fiecărei acțiuni. O instrucțiune de tipul „nu accesa ce nu ai voie” nu este un control de securitate.

Partea care ar trebui să îngrijoreze cel mai mult conducerea nu este comportamentul agentului, ci notificarea. Un furnizor a aflat în august și a trimis un e-mail la o adresă generică în septembrie. Dacă în locul unui portal de statistici ar fi fost sistemul tău, ai fi aflat odată cu presa.

Pentru entitățile esențiale și importante din NIS2, securitatea lanțului de aprovizionare face parte din măsurile obligatorii de gestionare a riscurilor, iar termenele de raportare către autoritate sunt de 24 și 72 de ore. În România, directiva a fost transpusă prin OUG 155/2024, aprobată prin Legea 124/2025, cu DNSC drept autoritate. Nu poți respecta aceste termene dacă furnizorul tău află și tace câteva săptămâni.

• Inventar: ce agenți AI rulează astăzi în organizație, inclusiv pilotele și extensiile pe care le folosesc angajații? Fiecare trebuie să aibă un responsabil desemnat, nu doar „echipa de IT”.
• Limite tehnice: ce poate accesa și ce poate modifica fiecare agent? Cere dovada unei liste de domenii permise și a credențialelor cu drepturi minime, nu descrierea promptului de sistem.
• Jurnale: poți reconstitui acțiunile unui agent pentru o anumită zi din trecut? OpenAI a găsit incidentul la aproape două luni după ce s-a produs. Fără jurnale, nu l-ar fi găsit deloc.
• Clauze contractuale: contractele cu furnizorii de AI și cu furnizorii care folosesc AI în serviciul pentru tine prevăd un termen de notificare în ore, un contact nominal și obligația de a raporta și acțiunile neintenționate ale agenților, nu doar breșele clasice?
• Canalul de intrare: cine citește adresa generică de raportare a organizației tale și cât de repede ajunge un mesaj de acolo la cineva care poate decide? În Australia, acest drum a durat cinci zile până la autoritatea cibernetică.

Nu concluziona că agenții AI trebuie interziși și nici că incidentul a fost minor pentru că nu s-au accesat date personale. Guvernul însuși l-a descris ca fiind grav, cu impact relativ redus. Diferența dintre cele două descrieri este chiar lecția: impactul a fost mic pentru că sistemul atins conținea puțin, nu pentru că ceva ar fi oprit agentul.

Awarely Learning poate transforma acest caz într-un exercițiu de masă pentru conducere: primiți, la o adresă generică, un e-mail de la un furnizor care vă anunță că agentul lui a intrat în sistemele voastre acum trei luni. Ce faceți în primele 24 de ore? Deciziile privind utilizarea AI și clauzele contractuale rămân ale organizației.