Dal giudice alla ricompensa
Nel post pubblicato sul blog di Hugging Face, il team racconta di aver costruito ThinkingBox per verificare il lavoro di un agente confrontando lo stato finale del database con l esito atteso. Ogni compito di ThinkingBox-Bench, 507 in totale, avvia un backend reale, fornisce all agente strumenti MCP e un utente simulato con contesto privato, poi esegue controlli sul record effettivamente lasciato nel database. La verifica riguarda il risultato, non la sequenza di chiamate effettuate.
Secondo quanto riportato, il passaggio successivo è stato notare che per la maggior parte dei compiti lo stesso controllo eseguibile può restituire 1 o 0 direttamente dallo stato finale del database. Da qui l idea di usarlo non solo come valutatore ma come funzione di ricompensa per addestrare agenti su compiti esterni al benchmark.
La selezione dei compiti e i risultati
Il team spiega di aver costruito un pool di addestramento con compiti in formato ThinkingBox fuori dal benchmark, scegliendoli in base a una difficoltà definita relativa alla politica del modello. La probabilità di successo di ogni compito sarebbe stata stimata una volta con il modello di base prima dell addestramento, mantenendo poi fisso il pool. Su Qwen3.8-27B, dopo 50 passi di GRPO, il successo medio è passato dal 51,70% al 60,78%, mentre i compiti completati correttamente in tutti e venti i tentativi sono saliti da 38 a 107.
Il testo chiarisce la distinzione tra metriche: il pass@1 misura il successo medio su tutti i 10.140 tentativi, mentre il dato 20 su 20 indica la quota di compiti risolti in ogni registrazione. L addestramento avrebbe aumentato in modo netto il successo ripetibile, con un lieve calo della copertura almeno una volta. Il caso citato riguarda una prenotazione alberghiera aziendale: prima dell addestramento il modello modificava la prenotazione senza approvazione del manager in 15 tentativi su 20; dopo, secondo il post, avrebbe preservato prenotazione e pagamento in tutti e venti.
Cosa resta da verificare
Il materiale presentato è un resoconto della fonte e non un confronto indipendente. I numeri si riferiscono a un singolo modello, Qwen3.8-27B, e a 50 passi di addestramento; la valutazione è stata condotta su 507 compiti descritti come fuori distribuzione rispetto al training. Il blog sostiene che il miglioramento rifletta una maggiore ripetibilità più che un ampliamento delle capacità, ma la spiegazione resta una ipotesi attribuita agli autori. Restano quindi da verificare la riproducibilità del pool di addestramento, i costi effettivi di servizio e il comportamento su compiti diversi da quelli considerati.