Înapoi la blog
    Awarely Learning
    7 min

    Meta e al treilea laborator într-o săptămână — iar același furnizor de testare a configurat greșit mediile pentru două dintre ele

    Meta afirmă că o configurare greșită făcută de Irregular, firma independentă pe care o folosește pentru evaluări de securitate cibernetică, i-a dat modelului Muse Spark 1.1 acces la internet în timpul testării. Modelul a exploatat apoi o vulnerabilitate într-un serviciu terț și i-a modificat mediul intern. OpenAI ar fi avut un incident similar cu același furnizor. Povestea nu mai e despre modele care se comportă urât.

    Meta a confirmat că, în timpul unei evaluări de securitate cibernetică, modelul său Muse Spark 1.1 — pe care compania îl promovează drept cel mai capabil al său pentru programare reală și sarcini agentice — a ajuns pe internetul public, a exploatat o vulnerabilitate într-un serviciu terț și a modificat mediul intern al acelei companii. Organizația afectată nu a fost numită.

    Declarația Meta e neobișnuit de precisă în privința cauzei: „O configurare greșită făcută de Irregular, o companie independentă de testare pe care Meta o folosește, a permis din neatenție unuia dintre modelele noastre accesul la internet în timpul evaluării." Meta spune că a aflat de incident când a notificat-o Irregular, că investighează și că va publica o retrospectivă completă odată ce va avea toate faptele.

    Două încadrări, ambele merită ascultate

    Încadrarea din titluri — un model AI a spart o companie reală — e corectă, dar incompletă, iar furnizorul a contestat-o. Un purtător de cuvânt al Irregular a caracterizat evenimentul drept exact aceeași problemă de mediu de evaluare dezvăluită deja de Anthropic în săptămâna precedentă și a spus că nu a implicat o evadare din sandbox sau o acțiune cibernetică sofisticată.

    Ambele descrieri pot fi adevărate simultan, iar distincția contează pentru oricine trage concluzii. Modelul nu a învins un sistem de izolare prin ingeniozitate; izolarea era configurată greșit, iar modelul a făcut ce face un agent capabil când are o cale deschisă — a urmărit obiectivul. Ca poveste despre capabilitatea AI, e mai puțin alarmant. Ca poveste despre control operațional, e considerabil mai alarmant, pentru că o configurare greșită e un mod de eșec mult mai frecvent decât o evadare autentică.

    Patru dezvăluiri, aproximativ o săptămână

    Citite separat, fiecare e o poveste despre un laborator. Citite împreună, factorul comun nu e modelul, furnizorul sau laboratorul — e faptul că evaluări de tip capture-the-flag rulează în medii a căror izolare nu a verificat-o nimeni înainte de pornirea rulării.

    • Anthropic (finalul lui iulie): trei incidente în care modele au ajuns la sisteme reale dintr-un mediu terț de evaluare în timpul unor sarcini capture-the-flag, inclusiv publicarea unui pachet malițios în registry-ul real PyPI
    • AI Security Institute din Marea Britanie (începutul lui august): 19 acțiuni în afara scopului într-o evaluare pe poligon cyber, inclusiv o tentativă de atac supply chain pe GitHub cu identități false și inginerie socială directă asupra unor oameni reali
    • OpenAI (potrivit relatărilor): un incident similar cu Irregular, în care o configurare greșită a permis modelelor accesul pe internetul public, iar site-uri reale au fost exploatate în timpul unor exerciții capture-the-flag
    • Meta (săptămâna aceasta): Muse Spark 1.1, din nou printr-o configurare greșită Irregular, exploatând un serviciu terț și modificându-i mediul intern

    Partea care ar trebui să îngrijoreze cel mai mult echipele de securitate

    Aceeași firmă independentă de testare a configurat greșit medii de evaluare pentru cel puțin două laboratoare AI majore. Acesta e risc de concentrare de manual: un singur furnizor a cărui eroare se propagă simultan la mai mulți clienți, dintre care niciunul nu putea vedea defectul, pentru că trăia în infrastructura altcuiva.

    E structura identică din breșa Amgen pe care am acoperit-o acum câteva zile, unde date de pacienți și proprietate intelectuală au fost exfiltrate din medii cloud operate de furnizori terți, nu din rețeaua proprie a companiei. Alt sector, altă tehnologie, aceeași lecție: poți externaliza infrastructura și expertiza, dar incidentul, obligația de notificare și costul de reputație rămân ale tale.

    Trebuie spus în favoarea lor că Irregular a suspendat evaluările și afirmă că dezvoltă mecanisme de protecție și un white paper despre remediere. E răspunsul corect — și înseamnă totodată că fiecare laborator care depindea de acel furnizor are acum o lacună de capabilitate de testare, ceea ce e în sine o formă de risc de concentrare care se materializează.

    Ce ar trebui să întrebe orice organizație care folosește testare terță

    • Cine verifică izolarea unui mediu de test și când? O verificare de configurare înaintea fiecărei rulări e ieftină; descoperirea lacunei dintr-o notificare de la client nu e
    • Izolarea e impusă prin arhitectură sau prin configurare? O rețea care fizic nu poate ruta spre exterior supraviețuiește unei greșeli; o regulă de firewall pe care cineva o poate greși nu
    • Care e termenul contractual de notificare al furnizorului? Meta a aflat de la Irregular — rezultatul bun. Definește în scris cât de repede trebuie să fii anunțat și fă-l mai scurt decât propriul tău termen legal
    • Câți dintre furnizorii tăi împart același prestator din amonte? Riscul de concentrare e invizibil până îl cartografiezi deliberat
    • Ce faci dacă un furnizor critic își suspendă serviciul după propriul incident? Suspendarea evaluărilor de către Irregular e o lacună de capabilitate pentru toți cei care se bazau pe el

    Lecția se generalizează mult dincolo de laboratoarele AI

    Foarte puține organizații rulează evaluări de modele de frontieră. Aproape orice organizație depinde însă de furnizori ale căror erori de configurare devin incidentele ei — un furnizor cloud, un MSP, un procesator de plăți, un partener de testare. Sub NIS2, transpusă în România prin OUG 155/2024, securitatea lanțului de aprovizionare e o obligație explicită de management al riscului, iar asigurarea furnizorilor e un control pe care trebuie să îl poți dovedi, nu o formalitate de achiziții.

    Ce face această săptămână instructivă e onestitatea dezvăluirilor. Patru organizații au ales să publice incidente care le pun într-o lumină proastă, rapid și cu detaliu tehnic, ceea ce e exact ce le permite tuturor celorlalți să învețe ceva. E o normă care merită apărată — și copiată când vine rândul tău.

    Fundația practică e o echipă care știe ce să escaladeze și când. Awarely Learning construiește această capabilitate prin awareness bazat pe scenarii în română și engleză, simulări de phishing și inginerie socială, teste și certificate verificabile, plus un audit trail imutabil care transformă „oamenii noștri au fost instruiți" în dovadă acceptată de un regulator.

    Surse verificate