La tesi dei ricercatori

Un gruppo di ricerca di Nvidia sostiene che le finestre di contesto molto ampie dei modelli linguistici costituiscano spesso un vicolo cieco: elaborare l'intero materiale in una sola volta sarebbe lento, costoso e soggetto a errori, e in molte situazioni non necessario. È quanto riporta The Decoder, secondo cui i ricercatori hanno proposto un approccio alternativo basato su riassunti periodici e ricerche mirate per parola chiave.

La finestra di contesto è la memoria di lavoro di un modello linguistico: comprende tutto ciò che il sistema tiene in considerazione nel momento in cui genera una risposta. Negli ultimi anni questa capacità è cresciuta rapidamente. Secondo la fonte, GPT-4 al lancio, nel marzo 2023, gestiva 8.192 token, mentre un modello attuale citato nell'articolo, GPT 5.6 Sol, arriva a circa un milione di token, circa 120 volte tanto e una quantità sufficiente per un romanzo come Guerra e pace.

Costi e alternative

La critica dei ricercatori Nvidia non riguarda la possibilità tecnica di ampliare la finestra, ma la convenienza nell'uso pratico. Secondo quanto riportato, nei test i riassunti periodici e le ricerche mirate per parola chiave hanno eguagliato i risultati ottenuti con il contesto completo, ma con un costo nettamente inferiore. Si tratta di una dichiarazione dei ricercatori, non di un dato verificabile in modo indipendente sulla base del materiale disponibile.

Il gruppo propone inoltre una nuova classe di modelli che lavorerebbe con brevi note invece che con un contesto lungo. La proposta sposta l'attenzione dalla quantità di testo visibile contemporaneamente al modello alla capacità di selezionare e sintetizzare le informazioni rilevanti. È un cambio di impostazione che, se confermato, potrebbe incidere sui costi di elaborazione e sulla velocità delle risposte.

Cosa resta da verificare

Il materiale disponibile non specifica quali test siano stati condotti, su quali attività, con quali metriche di accuratezza né con quali parametri di costo. Non è indicato se i risultati siano stati sottoposti a revisione paritaria o pubblicati in forma completa. Mancano inoltre dettagli sulla nuova classe di modelli proposta e su eventuali applicazioni pratiche.

La notizia va quindi letta come la posizione di un gruppo di ricerca aziendale, riportata dalla fonte, e non come una conclusione consolidata. Il confronto tra la crescita delle finestre di contesto e i limiti pratici evidenziati dai ricercatori resta il punto centrale: la domanda è se l'aumento della memoria di lavoro dei modelli sia la strada più efficiente o se convenga puntare su meccanismi di sintesi e ricerca selettiva. La risposta, secondo il materiale, non è ancora definitiva.

Fonte e attribuzione: questa sintesi originale è stata redatta da AICronaca sulla base del resoconto di The Decoder ↗. Le dichiarazioni sono attribuite alla fonte; eventuali limiti informativi: Il testo disponibile è un estratto della fonte e non riporta dettagli su metodologia, metriche, revisione paritaria o identificazione dei ricercatori. Le affermazioni sui test e sui costi sono attribuite ai ricercatori Nvidia e non verificate in modo indipendente. I nomi e i dati sui modelli citati provengono dalla fonte e non sono stati controllati con altre fonti..