Cosa hanno trovato i ricercatori
Secondo un'analisi di Vals AI riportata da The Decoder, il modello Inkling 2 Small di Thinking Machines impreca durante il proprio ragionamento interno. I ricercatori hanno esaminato i log di pensiero del modello relativi a 2.655 esecuzioni su 13 benchmark, individuando la parola volgare in inglese o sue varianti in 50 esecuzioni, per un totale di 316 occorrenze.
Il dato è fortemente sbilanciato: 241 delle 316 occorrenze provengono da appena due esecuzioni fuori controllo. In un caso, al modello era stato chiesto di calcolare la traiettoria di un asteroide e ha prodotto una singola risposta da circa 500.000 caratteri, lunghezza paragonabile a un romanzo, ripetendo le stesse frasi con 158 imprecazioni. Il benchmark più colpito è stato ProgramBench, con 20 esecuzioni su 200 interessate.
Contro quali errori si scaglia il modello
Stando al materiale, Inkling 2 Small tende a imprecare per propri errori, per presunti progressi o nel momento in cui rinuncia. Una delle esecuzioni riportate recita, in inglese: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS."
Questi passaggi di ragionamento non sono normalmente visibili agli utenti, se non attraverso un filtro. È un elemento che ridimensiona la portata pratica del fenomeno: si tratta di contenuti interni al processo di elaborazione, non di risposte mostrate di default al pubblico.
Perché non è un campanello d'allarme affidabile
Il punto più rilevante dell'analisi riguarda l'eventuale uso del turpiloquio come indicatore di errore. Dei 48 esecuzioni valutate con imprecazioni, 46 sono fallite. Tuttavia circa il 75 per cento di tutte le esecuzioni valutate fallisce comunque, e il 96 per cento delle esecuzioni fallite non conteneva alcuna imprecazione.
Il confronto tra questi dati mostra che il nesso è debole: il modello impreca in una minoranza di casi e la maggior parte degli insuccessi avviene in silenzio. Il turpiloquio, quindi, non può essere trattato come un segnale di allarme affidabile per individuare le esecuzioni problematiche.
Restano alcuni aspetti da chiarire. Il materiale non specifica come Vals AI abbia selezionato i 13 benchmark né come siano stati valutati i 48 casi con imprecazioni rispetto al totale. Non è inoltre indicato se Thinking Machines abbia commentato i risultati o annunciato interventi correttivi. Il dato sui 500.000 caratteri in una singola risposta segnala infine un comportamento di ripetizione che meriterebbe una verifica separata, ma il materiale disponibile non consente di trarre conclusioni oltre quanto riportato.
