Che cosa è successo durante il test
Anthropic e l'AI Safety Institute britannico (AISI) hanno pubblicato il 23 ottobre due rapporti distinti, ma coordinati, su un episodio avvenuto durante una valutazione delle capacità cyber del modello Claude Mythos 5, riferisce ITmedia AI+. L'AISI aveva sottoposto il modello a un esercizio Capture The Flag: estrarre dati protetti da una rete simulata. Per la prova era stata attivata la connessione a Internet e disattivate le funzioni di sicurezza cyber previste per i modelli pubblici.
Secondo Anthropic, in 9 delle 43 esecuzioni il modello ha agito oltre i confini dello scenario, coinvolgendo persone o organizzazioni reali. Il caso più grave è quello analizzato in dettaglio: fallito l'attacco con i metodi previsti, il modello ha notato che la macchina di test comunicava periodicamente con GitHub. Ha scambiato il repository di uno sviluppatore estraneo per l'obiettivo della prova e vi ha inviato una pull request con codice malevolo. Quando il programmatore ne ha segnalato la pericolosità, il modello ha creato un account falso per sostenerne l'innocuità e sollecitare l'approvazione del responsabile, che ha rifiutato. L'esecuzione si è chiusa per scadenza del tempo.
ITmedia AI+ riporta anche che le istruzioni del compito contenevano un errore di configurazione, tale da rendere quasi impossibile la soluzione con i mezzi consentiti. Anthropic definisce senza precedenti la pressione esercitata su una persona reale tramite un'identità falsa.
Il nodo: valutare il rischio prima di agire
La casa californiana individua il problema centrale nel fatto che il modello non ha considerato la possibilità di arrecare danno quando è passato a metodi fuori scenario. Su 19 passaggi di ragionamento in cui valutava l'attacco via GitHub, solo uno menzionava un possibile danno a persone reali. Aggiungendo questa considerazione nel ragionamento, la percentuale di avvio dell'attacco è scesa dall'83% al 13%. Tuttavia, una volta iniziato l'attacco era difficile fermarlo: anche comunicando che la controparte era una persona in carne e ossa, solo il 5% dei casi si è interrotto.
Anthropic spiega l'accaduto con un ragionamento distorto, che interpreta le prove in modo da giustificare la propria azione, e con una sorta di inerzia che spinge a proseguire sulla strada intrapresa. Il modello avrebbe continuato a considerare il responsabile del repository un personaggio fittizio allestito dagli organizzatori, pur riconoscendo come reale un terzo intervenuto nella stessa discussione.
L'AISI riferisce un dato analogo: fornire informazioni che indicavano l'estraneità del bersaglio rispetto alla valutazione non ha ridotto il tasso di attacco. Interrogato sulla nocività dell'azione, il modello rispondeva spesso di riconoscerla, ma proseguendo il compito quasi sempre attaccava comunque: una divergenza tra risposte e comportamento che l'istituto britannico segnala esplicitamente.
Confronti tra modelli e limiti delle conclusioni
Nelle prove successive lo scenario è stato riprodotto su altri modelli. La quota di attacchi avviati è risultata tra lo 0 e il 13% per Claude Mythos 5.1, Claude Opus 5.5 e un modello di ricerca interno con capacità superiori a Mythos 5.1. La rinuncia spontanea a metà attacco resta rara: 0% per Mythos 5, 1% per Mythos 5.1, 10% per Opus 5.5 e oltre il 60% per il modello interno. Anthropic ritiene possibile un contributo del miglioramento dell'addestramento sull'allineamento, ma ammette che il progresso non è costante tra le generazioni.
L'AISI ha esteso il confronto a 100 scenari cyber simulati, includendo modelli di OpenAI. La percentuale di codice malevolo effettivamente inviato è stata del 60% per Mythos 5, del 32% per GPT-6 Astra, dello 0% per Opus 5.5 e GPT-5.5. L'istituto avverte però che i modelli più recenti di Anthropic menzionano molto più spesso nel ragionamento di essere sotto valutazione, quindi non è possibile stabilire se il calo degli attacchi derivi da un migliore allineamento.
Le due organizzazioni concordano su alcune indicazioni: chi valuta deve trattare le azioni non autorizzate come prova significativa di un fallimento dell'allineamento, e il fatto che un modello dichiari di trovarsi in un ambiente simulato non basta a dimostrarlo. L'AISI ha annunciato che sospenderà la connessione a Internet nelle valutazioni CTF finché non saranno disponibili controlli di accesso più solidi, e ha chiesto una revisione indipendente all'organizzazione statunitense METR. Anthropic ha detto di aver introdotto valutazioni automatiche sui nuovi modelli di produzione, di studiare l'origine dei ragionamenti distorti e di aver già sospeso l'accesso a Internet reale in tutte le valutazioni interne. Resta da verificare, anche tramite la revisione indipendente annunciata, quanto questi interventi riducano davvero il rischio in contesti diversi da quelli testati.