Il controllo formale sotto esame
Gli agenti basati su modelli linguistici che rispondono a domande consultando knowledge graph sul Web vengono sempre più spesso affiancati da verifiche costruite a partire dall ontologia del grafo, nella convinzione che uno schema formale costituisca un giudice affidabile. Lo studio pubblicato su arXiv con il codice 2610.37809 mette però al centro dell analisi proprio il verificatore, anziché l agente, e si chiede se un ontologia curata meriti il suo costo quando viene usata in questo ruolo.
Secondo l abstract, un sistema di controllo può sbagliare in due direzioni: può lasciar passare errori oppure segnalare come errate risposte corrette, spingendo l agente a correggere ciò che non andrebbe toccato. La ricerca confronta tre fonti di schema, ovvero ontologie curate, ontologie scritte da un LLM e schemi estratti dai dati, usate come contesto nel prompt, come verificatore o in entrambi i modi.
Il confronto tra fonti e il caso UniProt
La sperimentazione coinvolge agenti open-weight e proprietari, su grafi pubblici e su un grafo privato di quasi un miliardo di triple. Gli autori dichiarano di aver misurato che cosa i controlli derivati dall ontologia intercettano e che cosa segnalano a torto, Mostrando come ciascuna fonte scambi errori catturati con falsi allarmi.
Un risultato specifico riguarda UniProt: l ontologia curata segnala come problematiche più risposte corrette rispetto sia a un ontologia derivata dai dati sia a una prodotta da un LLM a partire da un riassunto dei dati con identificatori mascherati. Su risposte reali degli agenti, però, le sue segnalazioni risultano solo marginalmente più precise di segnalazioni casuali.
Cosa resta da chiarire
Il materiale indica anche che uno schema curato, usato così come pubblicato, può entrare in contraddizione con i propri dati, e che alcuni tipi di errore sfuggono ai controlli strutturali. Resta aperta la questione se convenga combinare più fonti di ontologia o fornire all agente il feedback specifico prodotto dal verificatore.
La notizia ha un limite rilevante: le informazioni disponibili provengono dall abstract della ricerca e non consentono di valutare la metodologia nel dettaglio, la significatività statistica dei confronti né la replicabilità dei risultati sul grafo privato. Le conclusioni vanno quindi attribuite agli autori e considerate preliminari fino alla pubblicazione completa e alla revisione.
