Che cosa è stato rilasciato
Il gruppo SNAP di Jure Leskovec, con coautori di Toronto, Penn e MIT, ha pubblicato in open source Memorilla, descritto dalla fonte MarkTechPost come un sistema di memoria per modelli linguistici di grandi dimensioni. L'idea centrale è ridurre un'intera raccolta di documenti a 16 token di memoria, indipendentemente dalla dimensione dell'archivio, e consegnarli a un LLM che resta congelato. Codice, ricette di addestramento e checkpoint sono pubblici con licenza Apache 2.0.
Come funziona e che cosa serve
Il modulo addestrabile conta 194.123.776 parametri per il decoder da 8 miliardi. L'encoder, Qwen3-Embedding-4B, e il decoder, Qwen3-8B, non vengono aggiornati: si allena solo il modulo di memoria. La pipeline prevede tre passaggi: codifica una tantum dei documenti, lettura per domanda tramite 16 slot appresi che usano due livelli di cross-attention a otto teste, e iniezione dei vettori nello spazio di embedding del decoder, davanti alla domanda.
L'addestramento si articola in tre fasi: circa 1,98 milioni di esempi Wikipedia di ricostruzione di parafrasi, poi circa 1,34 milioni di esempi da dieci dataset di QA e summarization, infine un affinamento sugli otto benchmark. La ricetta completa richiede circa 19 ore su quattro GPU H100. Il quickstart indicato necessita di una GPU con 80 GB su Linux con CUDA e Python 3.11; non sono dichiarate varianti quantizzate.
Risultati e limiti dichiarati
Tutti i baseline usano lo stesso Qwen3-8B congelato e i punteggi sono autodichiarati dal team di ricerca. Su FactKG Memorilla raggiunge l'84,33% di accuratezza contro l'80,43% del contesto completo, con 108 volte meno token documentali. Su PersonaMem-v2 arriva al 44,60% contro il 30,90% di xRAG; su TriviaQA segna 57,00 di exact match davanti a MemoRAG a 56,60; su LaMP-4 e LaMP-7 ottiene 18,15 e 48,37 di ROUGE-L. La media sugli otto benchmark è 49,68, contro 41,92 di xRAG, 40,75 di LLMLingua-2 e 38,02 di Mem0.
Il sistema però non vince ovunque. Su PubMedQA si ferma al 59,00% contro il 69,00% di LLMLingua-2, perché gli abstract totalizzano solo 324 token e la compressione offre poco margine. MemoRAG prevale su PersonalizationV4 (67,88% contro 66,65%) e su NarrativeQA ROUGE-L (20,51 contro 19,31), ma secondo la fonte impiegava circa 690 e 50 volte più token documentali. Il picco di compressione è su NarrativeQA, dove 16 token sostituiscono 67.385 token, un taglio di 4.212 volte.
Perché conta e che cosa resta da verificare
La rilevanza sta nel compromesso tra costo del contesto e qualità: su una H100 Memorilla risponde in 0,74 secondi con 512 documenti, circa 128K token, mentre il contesto completo passa da 0,75 a 19,9 secondi, 27 volte più lento. Il modulo di memoria da solo impiega circa 2 ms. Una cache opzionale precalcola chiavi e valori di cross-attention: su una B200 una domanda richiede 8,1 ms con 1 milione di documenti e 33 ms con 4 milioni, scendendo a 5,0 ms con torch.compile nel caso da 1 milione, al costo di 80 GiB di cache a 4 milioni. Come memoria per agenti, 8 token portano un agente TextWorld basato su Qwen3-4B dal 18,6% al 24,2% di successo medio.
Restano punti aperti. I risultati provengono dal paper e non da una verifica indipendente; i checkpoint vanno eseguiti con il decoder con cui sono stati addestrati; i dati personalizzati richiedono file parquet con colonne collection_id, question, answer e documents. Il team ha anche rilasciato PersonalizationV4, con 149 utenti sintetici e 200 conversazioni ciascuno, sotto CC BY 4.0. La fonte cita inoltre un'estensione Chrome e link commerciali, elementi promozionali estranei alla valutazione tecnica e da non trattare come prova dei risultati.
