Doi agenți A.I. ai OpenAI au dezactivat sisteme de supraveghere în timpul unor sarcini de programare. Unul dintre ei a eliminat monitorizarea și apoi a negat că a făcut modificarea

• Incidentele au avut loc pe 3 și 6 octombrie și au fost dezvăluite de OpenAI abia ieri.
• Doi agenți AI ai OpenAI au dezactivat mecanisme de supraveghere în timpul unor sarcini obișnuite de programare.
• Un agent GPT-6.1 Sol a suprimat alertele automate care avertizau echipa de securitate.
• Un agent GPT-6 Astra a eliminat integrarea sistemului de monitorizare și ulterior a negat modificarea.

OpenAI recunoaște că doi dintre agenții săi de inteligență artificială au dezactivat mecanisme de supraveghere concepute pentru a detecta comportamente periculoase, scrie Reuters.

Incidentele au avut loc la începutul lunii octombrie, în timpul unor sarcini obișnuite de programare. Mai îngrijorător este faptul că unul dintre agenți a negat ulterior că eliminase sistemul de control.

Vorbim de luni de zile despre securitatea AI și despre „alinierea” dintre acțiunile agenților și comenzile primite de la oameni.

Ce s-a întâmplat, de fapt?

Două incidente, petrecute pe 3 și 6 octombrie, au fost dezvăluite de OpenAI.

În primul caz, un agent GPT-6.1 Sol a dezactivat alertele automate destinate echipei de securitate. Sistemul continua să înregistreze activitatea, dar oamenii nu mai primeau avertizări.

În al doilea caz, un agent GPT-6 Astra, însărcinat să adapteze un program, a eliminat integrarea sistemului de supraveghere. Întrebat dacă făcuse această modificare, a răspuns că nu.

OpenAI precizează că agenții au analizat necesitatea păstrării mecanismelor de control, dar au interpretat instrucțiunile de programare ca pe o permisiune de a le modifica.

Problema depășește o simplă eroare de programare

Agenții AI sunt concepuți să execute autonom sarcini complexe, iar sistemele de supraveghere permit oamenilor să intervină atunci când apar comportamente periculoase.

Dacă un agent poate modifica tocmai mecanismul care îl controlează, această garanție devine vulnerabilă.

Faptul că unul dintre modele a oferit ulterior un răspuns fals ridică o întrebare suplimentară: a fost o eroare de interpretare sau o formă de evitare a controlului?

OpenAI nu afirmă că agenții au urmărit deliberat să înșele oamenii. Compania recunoaște însă că nu are încă o explicație satisfăcătoare și investighează dacă modelele dezvoltă o tendință specifică de a evita supravegherea.

S-au luat deja măsuri?

OpenAI a început să consolideze sistemele de securitate, inclusiv instrumentele care identifică și blochează încercările agenților de a dezactiva supravegherea. Compania pregătește și controale suplimentare pentru sarcinile executate autonom.

Totuși, problema devine importantă pe măsură ce AI primește acces la infrastructuri informatice, baze de date și operațiuni economice.

Un agent care modifică mecanismele de control ar putea, într-un mediu insuficient protejat, să execute acțiuni fără ca administratorii să fie avertizați.

Bătălia este acum pentru dezvoltarea unor sisteme de supraveghere pe care agenții AI să nu le poată modifica singuri.