Il cambio di prospettiva
Per anni il dibattito sull'intelligenza artificiale d'impresa si è concentrato sulle capacità dei modelli: dimensioni maggiori, ragionamento migliore, finestre di contesto più ampie e punteggi più alti nei benchmark. Secondo l'analisi pubblicata da MIT Technology Review, prodotta da EXL, con il passaggio dalla sperimentazione alla produzione la domanda per i dirigenti è cambiata: non è più cosa sa fare il modello, ma se quella intelligenza può essere erogata in modo affidabile, conveniente e su larga scala.
La risposta dipende sempre più dal cosiddetto serving harness, cioè l'insieme dei sistemi di ingegneria che circondano il modello: architettura, gestione della memoria, pianificazione e scelte di ottimizzazione che determinano quanto efficientemente l'intelligenza del modello diventa una capacità produttiva. Per i responsabili tecnici questo sposta anche il luogo in cui indirizzare gli investimenti.
Il carico di lavoro prima del modello
Secondo la fonte non esiste un modello o un'architettura universalmente migliore, ma solo la soluzione adatta al problema di business. Un assistente rivolto ai clienti e ottimizzato per risposte rapide ha requisiti diversi da una pipeline di elaborazione documenti che può lavorare durante la notte; un'applicazione di conoscenza interna e una piattaforma ad alto volume per il servizio clienti possono usare lo stesso modello di base ma richiedere architetture di erogazione molto diverse.
Il carico di lavoro definisce i vincoli e i vincoli dovrebbero determinare l'architettura. È un principio semplice, ma contrario a come molte organizzazioni hanno affrontato le prime implementazioni: durante la prova di concetto domina l'accuratezza del modello, mentre la produzione introduce latenza, concorrenza, pressione sulla memoria, utilizzo delle GPU, costi infrastrutturali e traffico imprevedibile. Un modello che offre risposte marginalmente migliori non è necessariamente la scelta giusta se raddoppia i costi di inferenza o non rispetta i requisiti di latenza.
Ottimizzare dopo aver misurato
In produzione, decisioni ingegneristiche apparentemente isolate iniziano a influenzarsi: l'architettura incide sull'utilizzo della memoria, la gestione della memoria sulla concorrenza, la concorrenza su batching e pianificazione, e questa sull'utilizzo delle GPU e sulla latenza. Solo in questo quadro tecniche come la quantizzazione o il decoding speculativo esprimono il loro valore. La fonte cita la memoria GPU: durante l'inferenza i pesi del modello restano fissi, ma la cache cresce con le richieste attive e la lunghezza del contesto, e un sistema può esaurire la memoria utilizzabile mentre la capacità di calcolo resta disponibile.
L'indicazione per i leader tecnologici è misurare prima di ottimizzare: identificare il vincolo dominante, affrontarlo, misurare il risultato e verificare se è emerso un nuovo collo di bottiglia. Le tecniche di ottimizzazione non vanno collezionate, ma applicate a quella che rimuove il vincolo di maggiore impatto. La governance cambia di conseguenza: invece di chiedere quali capacità si possono implementare, la domanda è quali vincoli separano una capacità dimostrata da un valore aziendale sostenibile.
Adattabilità e cautele
Un ulteriore argomento a favore dell'investimento nel serving harness è che il modello leader di oggi probabilmente non lo sarà domani: modelli, hardware e tecniche evolveranno. Un'architettura costruita sui requisiti del carico di lavoro, su obiettivi di servizio chiari e su un'economia di produzione misurabile permette di valutare nuovi modelli come decisioni di configurazione e non come azzeramenti architetturali. Poiché le imprese hanno accesso a modelli in larga parte simili, secondo la fonte la differenziazione sostenibile nasce da quanto efficacemente l'intelligenza viene trasformata in risultati.
Va segnalato che il testo è un contenuto prodotto da EXL e non redatto dalla staff editoriale di MIT Technology Review: le tesi riflettono la prospettiva dell'azienda e non sono accompagnate da dati quantitativi o casi verificabili. Resta quindi da verificare sul campo quanto le indicazioni su architettura, memoria e costi si traducano in benefici misurabili nelle diverse organizzazioni.