Oficiul AI cere informații de la dezvoltatori după incidente de pierdere a controlului asupra unor modele avansate

Oficiul european pentru inteligență artificială a trecut de la examinarea generală a riscului de pierdere a controlului asupra modelelor AI la solicitarea de informații de la companiile implicate în incidente concrete. Comisia spune că Oficiul AI a cerut și primit rapoarte privind incidente grave, a trimis solicitări de informații despre practicile de securitate ale dezvoltatorilor și pregătește noi întrebări împreună cu grupul științific independent care îl consiliază.

Reuniunea specială a Scientific Panel a avut loc la 9 octombrie după ce experții au început să analizeze mai multe incidente recente în care, potrivit formulării Comisiei, controlul asupra unor modele a fost pierdut. Grupul lucrase deja împreună cu Oficiul AI la o serie de întrebări pentru companiile care au dezvoltat modelele respective, iar Comisia a publicat pe 12 octombrie primele informații despre pașii făcuți după reuniune.

Noutatea este că analiza nu se mai limitează la o discuție teoretică despre ce s-ar putea întâmpla cu viitoarele modele foarte capabile. Oficiul AI spune că a primit deja rapoarte despre incidente grave și a cerut informații despre practicile de securitate. Următoarele solicitări vor include atât întrebările formulate de experții independenți, cât și întrebările proprii ale autorității europene.

Comisia nu identifică dezvoltatorii, modelele sau incidentele. Nu spune nici dacă toate evenimentele au avut aceeași cauză, dacă au produs consecințe în afara mediilor de testare sau dacă au afectat utilizatori. Termenul „pierdere a controlului” este, prin urmare, descrierea folosită de Comisie pentru categoria de incidente investigată și nu trebuie extins într-o afirmație potrivit căreia un anumit sistem ar fi devenit autonom ori imposibil de oprit.

Scientific Panel încearcă să stabilească atât ce se cunoaște despre incidente, cât și ce informații lipsesc. În paralel, experții analizează două evoluții care complică supravegherea modelelor avansate: posibilitatea ca sistemele AI să contribuie tot mai mult la propria îmbunătățire și apariția unor tehnici de antrenare care pot face procesele interne ale modelului mai greu de monitorizat.

Această problemă de „monitorabilitate” este importantă pentru siguranță deoarece identificarea unui comportament periculos depinde de capacitatea dezvoltatorului și a evaluatorilor de a observa ce face modelul și de a înțelege suficient de repede când comportamentul se abate de la limitele stabilite. Un sistem mai capabil nu devine automat mai puțin controlabil, dar metodele care reduc vizibilitatea asupra comportamentului său pot face mai dificilă detectarea timpurie a unor probleme.

Recomandările prezentate Comisiei încearcă să acopere mai multe etape ale acestei probleme. Experții cer ca riscurile modelelor interne, folosite de companii în timpul dezvoltării și testării înainte de lansarea publică, să fie guvernate mai riguros. Ei recomandă și consolidarea capacității europene de detectare, evaluare și investigare a incidentelor, astfel încât autoritățile să nu depindă exclusiv de ceea ce raportează companiile.

O altă direcție privește cooperarea internațională. Modelele avansate sunt dezvoltate și distribuite de companii care operează simultan în numeroase jurisdicții, iar un incident poate avea relevanță pentru mai multe autorități. Panelul susține schimbul internațional de informații, cerințe comune pentru dezvoltatorii modelelor de frontieră și capacitatea de a coordona reacția atunci când un risc depășește frontierele unei singure țări.

Experții cer în același timp o examinare mai atentă a tehnicilor care reduc monitorabilitatea modelelor. Recomandarea nu echivalează cu interzicerea unei metode de antrenare și nici nu introduce o obligație nouă pentru companii. Ea este adresată Comisiei, care trebuie să decidă dacă și cum aceste preocupări vor fi transformate în măsuri de supraveghere sau aplicare.

AI Act oferă deja cadrul juridic pentru o parte din această activitate. Furnizorii modelelor de inteligență artificială de uz general care prezintă risc sistemic trebuie să evalueze și să reducă riscurile sistemice, să efectueze și să documenteze testarea adversarială, să asigure un nivel adecvat de securitate cibernetică și să urmărească, documenteze și raporteze fără întârziere nejustificată informațiile relevante despre incidente grave și eventualele măsuri corective.

Comisia are, separat, competența de a cere furnizorilor documente și informații necesare pentru verificarea respectării regulamentului. O solicitare formală trebuie să explice temeiul juridic și scopul, să precizeze informațiile cerute și termenul pentru răspuns. Scientific Panel poate de asemenea solicita, în condițiile prevăzute de AI Act, ca informații necesare activității sale să fie cerute unui furnizor.

Aceste instrumente permit investigația, dar nu transformă existența unui incident într-o constatare de încălcare. Un incident poate declanșa raportarea, analiza tehnică și solicitarea unor explicații fără ca rezultatul să fie automat o sancțiune. Comisia trebuie să stabilească ce s-a întâmplat, ce obligații se aplică furnizorului respectiv și dacă măsurile de evaluare, prevenire și securitate cerute de AI Act au fost respectate.

Scientific Panel are 60 de experți independenți și a fost creat tocmai pentru situațiile în care supravegherea juridică necesită o evaluare tehnică foarte specializată. Grupul poate alerta Oficiul AI asupra unor posibile riscuri sistemice, poate contribui la metodele de evaluare a capabilităților modelelor și poate sprijini autoritățile în supravegherea pieței.

Comisia nu a anunțat până acum o sancțiune, o măsură corectivă impusă unei companii sau o concluzie potrivit căreia vreun furnizor nu și-ar fi îndeplinit obligațiile. Nici noile solicitări de informații nu au un termen publicat în comunicarea din 12 octombrie.

Etapa următoare va arăta dacă investigația rămâne una de colectare și analiză a informațiilor sau dacă duce la evaluări formale ale unor modele ori la măsuri de aplicare. Până atunci, informația importantă este că autoritatea europeană nu mai discută numai scenarii ipotetice de pierdere a controlului: examinează incidente concrete, a primit rapoarte și cere dezvoltatorilor date suplimentare despre modul în care își gestionează securitatea și riscurile.