Il problema: memorie sporche e mondi che conservano l'errore
Gli agenti basati su modelli linguistici che usano strumenti esterni accumulano nel proprio storico anche i propri sbagli. Quando un sistema compatta, ripara o passa a un altro modello questo storico, deve decidere come raccontare quegli errori, mentre i loro effetti restano nell'ambiente. È il punto di partenza dello studio pubblicato su arXiv con il titolo Cleaning an Agent's History Hurts When the World Still Holds the Error, di cui la fonte riporta solo l'abstract e i metadati.
Secondo gli autori, i lavori precedenti valutavano la pulizia dello storico a mondo fisso, cioè in una condizione in cui mostrare un passo corretto e dichiararlo concluso coincidono. La domanda nuova è se lo stesso contenuto corretto aiuti o danneggi a seconda di come lo storico lo presenta e di ciò che l'ambiente contiene davvero.
Due modi di correggere e due esiti opposti
Il metodo descritto congela un agente a metà compito insieme allo stato esatto del suo mondo, modifica lo storico oppure l'ambiente e lascia che un modello ricevente prosegua. Su AgentCE-Bench, dopo che l'agente ha inserito un valore sbagliato, il mondo viene tenuto fermo e il valore corretto viene aggiunto in due modi naturali: una nota veritiera accanto all'errore conservato, oppure l'azione compiuta dall'agente stesso.
I risultati riportati sono asimmetrici. La nota porta il recupero, cioè la quota di obiettivi residui centrati dal ricevente, dal 51% con una nota neutra di controllo al 66%. L'azione segnata come completata lo abbassa sotto lo storico non modificato, dal 50% al 44%. Per gli autori la sola presenza del valore corretto non predice l'effetto: conta la forma con cui lo storico lo dichiara.
AppWorld: ricevute e effetti reali
Su AppWorld, dopo una scrittura su database, la sperimentazione varia se la ricevuta riporta successo o fallimento e se l'effetto è effettivamente presente. Una ricevuta di successo riduce il successo dell'intero compito dal 45% al 28% quando l'effetto manca, mentre lo aumenta dal 38% al 49% quando l'effetto c'è.
La differenza tra i due effetti è di 27 punti percentuali, aggregata su due modelli riceventi. La fonte precisa che il divario risulta positivo in sei riceventi su otto al 97,5% e in sette su otto al 95%. Si tratta di misure dichiarate dagli autori nello stesso abstract, non replicate in questa sede.
Cosa cambia e cosa resta da verificare
La conseguenza indicata dagli autori è che l'effetto di una modifica dello storico dipende dal mondo che quello storico descrive. Uno storico reso apparentemente pulito mentre l'ambiente conserva ancora l'errore può lasciare l'agente in condizioni peggiori rispetto a nessuna modifica. Il lavoro non chiarisce però quali meccanismi generino l'asimmetria, né se i risultati valgano oltre i due benchmark citati. Restano inoltre da verificare l'applicabilità a sistemi reali e le procedure di valutazione, informazioni che l'abstract non dettaglia.
