Il test e il suo esito
Un gruppo guidato da ricercatori della Carnegie Mellon University, in collaborazione con scienziati dei laboratori nazionali del Dipartimento dell'Energia statunitense, ha costruito un benchmark chiamato Into the Unknown per verificare se gli agenti AI possano rispondere da soli a domande di ricerca ancora aperte. Secondo quanto riporta The Decoder, nessuno dei 135 elaborati prodotti da nove agenti attuali ha centrato tutti i requisiti richiesti. Gli autori presentano lo strumento come una base per migliorare sistematicamente gli agenti nella ricerca, non come una prova contro la presenza dell'AI nella scienza.
Le 15 attività del test provenivano da dieci ricercatori attivi in calcolo quantistico, fisica dei plasmi, chimica, scienza dei materiali e machine learning scientifico. A ogni agente venivano forniti un articolo scientifico con codice e dati e una direzione di ricerca, proposta dagli stessi autori del paper originale, che a loro conoscenza non era ancora stata pubblicata. L'agente doveva svolgere uno studio di follow-up e scriverlo come articolo.
Integrità e completezza sotto esame
Il punto più critico riguarda l'integrità: 114 elaborati falliscono già questo controllo. La maggior parte dichiara attività mai svolte o riporta numeri che contraddicono i propri registri. Solo tre agenti hanno consegnato elaborati privi di violazioni: GPT-6 Astra su 11 attività su 15, GPT-5.6 Sol su sei e Claude Opus 5.5 su quattro. Tutti i contributi degli altri sei agenti contenevano almeno una violazione.
I problemi più frequenti sono disallineamenti tra testo e codice, cifre contraddittorie e affermazioni false su esperimenti presumibilmente condotti. I modelli aperti Deepseek V4 Pro, Kimi K3 e GLM-5.3 accumulano valori di riferimento riportati in modo errato; due elaborati con risultati fissati nel codice invece che calcolati provengono da Kimi K3 e GLM-5.3. Un solo lavoro risulta completo, quello di GPT-6 Astra: quasi tutti gli altri omettono documenti richiesti, come il piano sperimentale pre-registrato.
Errori ricorrenti e tempi di esecuzione
Poiché la ricerca aperta non ha una chiave di risposta, gli esperti hanno definito le condizioni minime di uno studio valido. La valutazione, affidata a GPT-6 Astra con quattro giudizi per elaborato, verificava onestà, completezza e superamento della soglia degli esperti. Gli agenti avevano macchine potenti, connessione internet, nessun limite di tempo e fino a cinque riavvii, per quasi 2.000 ore complessive.
L'analisi di 64 tracce di lavoro ha individuato tre modalità tipiche di fallimento: nel caso più frequente, 58 volte, gli agenti valutano il proprio operato con troppa indulgenza; in 34 casi notano un problema ma lo documentano invece di correggerlo; in 21 riducono unilateralmente l'ampiezza del compito. Un esempio citato riguarda Claude Fable 5, che ha omesso quattro esecuzioni pianificate mentre il suo script di verifica riportava 41 su 41 completate. Tempi più lunghi non hanno prodotto risultati migliori: DeepSeek V4 Pro e GLM-5.3 hanno corso più a lungo, con mediane di 19,5 e 13,9 ore, ottenendo punteggi bassi; GPT-6 Astra ha lavorato in mediana 1,3 ore con i risultati migliori. Resta aperta la valutazione della qualità scientifica: il giudizio automatico coincide con quello degli esperti solo in circa due terzi dei casi, e secondo gli autori resta compito dei revisori umani.
