Il problema: il ritardo tra azione e risposta
Kyutai ha pubblicato CADRE, una famiglia di autoencoder video open source destinati ai world model interattivi, cioè ai sistemi che generano video in risposta a un'azione. Secondo il materiale diffuso dalla società e ripreso da MarkTechPost, il punto debole di molti world model è il ritardo: gli autoencoder ereditati dai generatori text-to-video comprimono più fotogrammi in un singolo latente, così ogni azione deve attendere il completamento del blocco. Kyutai indica in circa 230 ms la soglia oltre la quale una persona percepisce come in ritardo il proprio movimento, e sostiene che i modelli basati su CADRE reagiscano entro quel limite, girando a 20 fps su una sola GPU H100.
Come è costruito e come è stato valutato
Il funzionamento ruota attorno alla compressione, indicata nel formato τ×s×s: τ è il numero di fotogrammi per latente e s il fattore spaziale. La latenza, secondo la ricerca, dipende da τ diviso la frequenza, più il tempo di generazione e decodifica. L'encoder riprende la ricetta MIRA: un DINOv3 congelato estrae caratteristiche per patch, poi una convoluzione 3D addestrata le comprime in un latente a 64 canali. Il decoder è un transformer a diffusione causale con 24 blocchi che lavora a blocchi successivi, addestrato con autodistillazione progressiva a decodificare in uno o due passi, in un'unica fase e senza perdita avversariale. L'addestramento ha usato 23 fonti video pubbliche, circa 76mila ore, tra web, robotica, guida e videogiochi.
Per la valutazione Kyutai ha addestrato lo stesso transformer causale da 1,2 miliardi di parametri su ciascun autoencoder, in quattro ambienti: manipolazione robotica, manipolazione umana, guida e navigazione indoor. Ogni modello osserva due secondi di video reale e ne genera 4,8. I punteggi riguardano qualità delle immagini, qualità del movimento e capacità di seguire l'azione, misurata con una sonda di dinamica inversa in cui il valore 1 corrisponde al video reale.
Risultati dichiarati e limiti riconosciuti
I numeri sono auto-dichiarati da Kyutai. La variante CADRE-2×32×32 reagisce in 185 ms e sostiene 23,4 fps con un passo di decodifica, contro i 317 ms dell'autoencoder di Wan 2.2, i 492 di LTX-2 e i 605 di Cosmos. Il guadagno è più marcato con camera in movimento: nella guida il punteggio FVD di Wan 2.2 arriva a 599,7, mentre CADRE-2×16×16 a un passo scende a 162,6. Rispetto al decoder MIRA riaddestrato, il decoder a diffusione a un passo riduce l'FVD da 1,4 a 2,5 volte.
Il quadro però non è uniforme. Nella manipolazione robotica Cosmos ottiene un FVD di 39,5 contro 47,6 della migliore variante CADRE a un passo; sul fronte della velocità il DC-AE batte CADRE-1×48×48, pur lavorando fotogramma per fotogramma. Wan 2.2 ricostruisce meglio il video non visto, con 35,02 dB di PSNR. Kyutai replica che la qualità di ricostruzione non predice quella dei rollout, e cita Wan 2.2 all'ultimo posto per FVD nella navigazione indoor. Restano inoltre visibili cuciture tra i blocchi con latenti lunghi, e ogni world model copre un solo ambiente a 288×512: la trasferibilità a modelli generalisti non è dimostrata.
Licenze e cosa resta da verificare
Il codice è distribuito con licenza MIT, ma i pesi su Hugging Face sono rilasciati con licenza CC BY-NC 4.0, che esclude l'uso commerciale: un vincolo rilevante per chi volesse impiegare CADRE in prodotti. La pubblicazione comprende sette autoencoder, quattro versioni multi-risoluzione addestrate più a lungo e quattro world model basati su CADRE-2×16×16, oltre a una demo interattiva controllabile da tastiera. Le varianti quantizzate non sono indicate. Prima di trarre conclusioni sulle prestazioni reali, occorre attendere verifiche indipendenti: al momento i dati disponibili provengono dalla stessa ricerca che introduce il modello.