La prova e i modelli in gara
Secondo AI4Business, la redazione ha costruito una pipeline per la gestione documentale in locale e ha confrontato cinque small language model su un corpus di cento documenti aziendali reali, modificati per l'occasione. I modelli testati sono LFM2.5 1.2B, Phi-4-mini-reasoning, Qwen3.5 9B, Gemma 4 E4B e Gemma 4 12B.
Il punto di partenza è una distinzione pratica: allegare un PDF a una chat non equivale ad automatizzare un processo documentale. Per i primi due modelli, privi di capacità native di lettura dei PDF, i file sono passati prima attraverso PaddleOCR, che ha convertito testo e tabelle in una forma strutturata utilizzabile nelle fasi successive.
Il compito richiesto e come viene misurato
Ai modelli è stato chiesto di leggere ogni documento, separare quelli commerciali da quelli tecnici e restituire in JSON fornitore, numero della fattura, date, righe e importi. Le date dovevano seguire una convenzione fissa, le righe mantenere la sequenza e le note di credito conservare i segni negativi. Il formato non è un dettaglio: è ciò che permette di collegare il modello a un gestionale senza interpretare ogni risposta.
Il corpus comprendeva 100 file, 230 pagine e 346 righe contabili, per l'80% in italiano e per il 20% in inglese, diviso in cinque gruppi da venti file. Per ogni documento esisteva un riferimento con i valori attesi, così da contare gli errori in modo verificabile. Un risultato parziale è stato considerato errato, perché incompatibile con un uso programmatico del dato.
I risultati e i limiti del test
Gemma 4 E4B è il modello più preciso: completa correttamente tutti i 100 documenti, con un tempo tipico di elaborazione di 2,80 secondi. Qwen3.5 9B ne completa 96 ed è leggermente più lento, a 3,61 secondi. Gemma 4 12B, il più grande e il più lento (6,00 secondi), si ferma a 94 documenti pur gestendo correttamente il 99,7% dei campi. I due modelli più piccoli sono rapidissimi ma inefficienti: Phi-4-mini-reasoning completa 3 documenti su 100, LFM2.5 1.2B nessuno.
Le difficoltà dei tre modelli migliori si concentrano sui campi mancanti, dove il valore richiesto era null e in diverse risposte è stato invece inserito un dato proveniente da un'altra fonte. Per Gemma 4 12B, cinque dei sei documenti scartati riportavano nel campo numero il codice di riferimento del corpus presente nel piè di pagina. Secondo AI4Business, questo segnala che la qualità del prompt conta quanto quella del modello: le istruzioni devono dire cosa fare e anche cosa non fare.
Il test ha usato sessioni indipendenti, una richiesta alla volta, temperatura zero, seed 42, contesto di 8.192 token e un massimo di 4.096 token generati. Sono stati inoltre introdotti problemi di formattazione, dati fuorvianti e tentativi di prompt injection: Gemma 4 E4B, Gemma 4 12B e Qwen3.5 9B non si sono fatti ingannare. Resta da verificare la tenuta su volumi e documenti diversi da quelli del campione.
