Che cosa ha annunciato SelectStar
SelectStar ha presentato DAVI, un modello di intelligenza artificiale dedicato alle decisioni, cioè un sistema progettato per analizzare una situazione e indicare la risposta più adeguata, secondo quanto riportato da ETNews il 26 ottobre. La funzione principale descritta è la selezione del modello: DAVI valuta la difficoltà di una domanda e sceglie il modello AI più adatto, oppure giudica l'adeguatezza di una risposta già prodotta. L'azienda indica anche un possibile uso nella previsione della probabilità che un agente AI completi con successo un compito.
I numeri del confronto con Jev
Per validare le prestazioni, SelectStar ha confrontato DAVI con Jev, modello di TypeSafeAI, in cinque aree. Nello strumento di valutazione JevBench, DAVI ha raggiunto un'accuratezza dell'89,2% contro l'86,6% di Jev. Sui problemi ad alta difficoltà, caratterizzati da condizioni complesse e da giudizi articolati, DAVI ha ottenuto il 77,5%, superando di 4,5 punti percentuali il 73,0% di Jev.
La società ha misurato anche la selezione automatica dei modelli su 870 domande e risposte in coreano di elevata difficoltà. DAVI ha scelto tra i modelli Haiku, Sonnet e Opus di Anthropic in base alla difficoltà della domanda, raggiungendo una percentuale di risposte corrette del 71,1%, superiore al 70,3% ottenuto usando solo Opus. Nello stesso test, secondo l'azienda, il costo di esecuzione del modello è calato di circa il 28%.
Piano di adozione e aperture
SelectStar prevede di integrare DAVI a novembre nella propria piattaforma di valutazione dell'affidabilità dell'AI, Datumo Eval, per consentire alle imprese di verificare i risultati delle decisioni automatizzate e migliorare l'efficienza operativa. L'azienda ha inoltre pubblicato come open source, con licenza Apache 2.0, un plugin basato su DAVI per la selezione automatica dei modelli.
Il materiale riporta anche un accordo precedente: una lettera di intenti con Cisco per collaborare su sicurezza e affidabilità dell'AI, combinando la piattaforma AI Defense di Cisco con le tecnologie di valutazione di SelectStar, allo scopo di esplorare modalità di verifica su misura per le aziende. Resta da chiarire come queste soluzioni verranno effettivamente integrate e quali clienti le adotteranno.
