Che cosa cambia con Decisions API
OpenAI ha reso disponibile a tutti i clienti la sua Decisions API, il modello che l'azienda aveva annunciato durante il developer day del 29 settembre. Lo riporta TechCrunch, secondo cui il prodotto entra nel mercato delle risposte rapide e a basso costo, lo stesso in cui TypeSafe, startup fondata da un ex ricercatore di un laboratorio di frontiera, ha raggiunto una valutazione di 7,6 miliardi di dollari con il modello Jev.
La categoria è quella dei modelli che agiscono come super-classificatori: ricevono un insieme di opzioni e scelgono rapidamente, indicando il grado di confidenza della decisione. Secondo la fonte, gli sviluppatori hanno iniziato a usarli al posto dei modelli linguistici di grandi dimensioni in diversi flussi di lavoro, perché rispondono più in fretta e costano molto meno. Il nuovo prodotto rappresenta quindi la risposta di OpenAI a un segmento che non ha creato, ma che ora vuole presidiare.
Velocità e multimodalità come argomenti
Nikunj Handa, responsabile prodotto delle API di OpenAI, ha spiegato a TechCrunch che il team ha preso ChatGPT Luna e lo ha riconfigurato per ridurre i tempi di inferenza e i costi, senza addestrare un modello specificamente calibrato per le decisioni. Il miglioramento rivendicato è sulla latenza: da uno-tre secondi a 100, 120, 180 millisecondi. Handa ha aggiunto che in futuro potrebbero arrivare addestramenti dedicati, ma oggi il risultato è ottenuto con il modello esistente.
La versione pubblica introduce anche modalità vocali e visive, e OpenAI ha lavorato per abbassare la latenza nelle diverse regioni distribuendo geograficamente le risorse di inferenza. Nei primi test con clienti come Box, Datadog, Ramp e Speak, gli ingegneri hanno sostituito i modelli linguistici di OpenAI con la nuova API per ottenere una maggiore capacità di elaborazione. Andrew Hsu, CTO di Speak, ha dichiarato che il tempo tra le azioni è sceso da 1,4 secondi a 0,13 secondi. OpenAI ha usato il prodotto anche per rendere più reattivo il proprio assistente vocale Dots.
Benchmark e cautele sulla valutazione
Non è chiaro che cosa renda buono un modello decisionale: secondo la fonte, l'ottimizzazione tra intelligenza, costo, calibrazione e velocità varia a seconda del carico di lavoro. Il CEO di TypeSafe, Diogo Almeida, diffida dei benchmark e invita a provare i modelli sul proprio lavoro, anche se TypeSafe ha pubblicato proprie classifiche insieme all'ultima versione di Jev. Gli indici pubblici AIM System One Index e Artificial Analysis Decision Index tendono a favorire D1 Ultra di Liquid e Elephant-1 di Base Lab; Jev resta competitivo, mentre il modello di OpenAI si colloca rispettivamente all'ottavo e al quattordicesimo posto. TypeSafe resta il più interrogato su OpenRouter.
Esiste anche JevMan, un benchmark in cui i modelli giocano a Pac-Man: qui il modello più recente di Jev è in testa. Secondo Felix Wunderlich di Opper AI, che ha costruito il test, il gioco è interessante per il flusso continuo di decisioni rapide e ad alto rischio, con scelte da compiere in poche centinaia di millisecondi. Handa ritiene invece che il punto di forza di OpenAI possa essere la multimodalità: per la classificazione delle immagini Luna mostra una calibrazione migliore, e i clienti chiedono maggiore flessibilità nell'uso delle immagini come output. Resta da verificare se l'approccio basato su Luna regga sui carichi reali; la fonte non indica prezzi, volumi di utilizzo né tempi di disponibilità per ulteriori funzioni.