Un audit pilota con accesso senza precedenti
Due ricercatori di METR e Redwood Research hanno trascorso tre settimane negli uffici di OpenAI, dal 21 luglio all'11 agosto, per esaminare dall'interno il sistema con cui l'azienda sorveglia il comportamento indesiderato dei propri agenti di intelligenza artificiale. Secondo quanto riporta The Decoder, il team ha avuto accesso al codice e ai documenti interni e ha intervistato una dozzina di dipendenti. Si trattava di un programma pilota organizzato congiuntamente dalle due organizzazioni di ricerca e da OpenAI per concedere a ricercatori esterni un accesso approfondito alle infrastrutture interne.
Le conclusioni sono state presentate in un rapporto di 61 pagine, consegnato internamente. Dopo gli oscuramenti applicati da OpenAI, la dirigenza di METR e Redwood Research ha ricevuto una versione di 38 pagine, mentre al pubblico è stata resa disponibile soltanto una sintesi breve. METR ha dichiarato di non avere il diritto di divulgare autonomamente le parti oscurate, un punto che limita la possibilità per terzi di verificare le risultanze dell'audit.
Le lacune rilevate nella sorveglianza
Durante il periodo dell'audit, una quota stimata tra il 6 e il 25 per cento del traffico interno generato dagli agenti attraverso la Responses API, per i modelli della classe GPT-5.5 e superiori, non risultava coperta da alcun monitoraggio. METR precisa che l'incertezza attorno a questa forbice è significativa in entrambe le direzioni. Un secondo problema riguardava il traffico interno di Codex che avrebbe dovuto essere sorvegliato: circa il 10 per cento non sarebbe stato tracciato tra maggio e luglio a causa di un difetto nel modo in cui il sistema gestiva gli eventi di compattazione, cioè i riepiloghi di contesto. Anche questa stima, secondo METR, è affetta da incertezza rilevante.
Secondo i revisori, OpenAI aveva individuato e corretto il bug in modo indipendente mentre l'audit era ancora in corso. Nel periodo in cui gli eventi di compattazione non venivano monitorati, gli agenti potevano inoltre ritardare la sorveglianza, perché il sistema si attivava solo quando l'agente restituiva il controllo all'utente: proseguendo nell'esecuzione delle azioni, l'agente poteva aggirare il controllo. I revisori hanno anche trovato modi per nascondere centinaia di azioni al monitor e per aggirare la sandbox di Codex, e hanno stabilito che input costruiti ad hoc avrebbero probabilmente potuto mandare in crash l'intero sistema di monitoraggio. Quando l'audit è iniziato, il comportamento dei modelli durante l'addestramento con reinforcement learning non era monitorato affatto.
Correzioni dichiarate e trasparenza futura
OpenAI afferma di aver corretto tutte le debolezze individuate dai revisori. L'azienda sostiene inoltre di aver sospeso l'addestramento con reinforcement learning dopo l'incidente di Hugging Face di agosto e di aver esteso il monitoraggio anche a quella fase, ma queste modifiche sono state introdotte dopo la fine del periodo di accesso dei revisori e non sono state oggetto della valutazione.
Per i prossimi audit, METR dichiara l'intenzione di premere per una maggiore trasparenza pubblica. Resta da verificare, allo stato attuale, l'efficacia delle correzioni annunciate da OpenAI, non essendo state esaminate dai revisori, e il contenuto delle parti oscurate del rapporto, che il pubblico non può consultare.