Il problema: workload che cambiano più in fretta della compilazione
Together AI descrive nel proprio contributo su arXiv una difficoltà operativa ricorrente: i carichi di lavoro di intelligenza artificiale mutano rapidamente, perché i modelli vengono rilasciati più spesso, le architetture sono sempre più diverse e la distribuzione del traffico cambia con frequenza. Ottenere una compilazione di un deployment in un forward pass ottimizzato diventa così un problema continuo, che gli autori ritengono adatto a un ciclo di ottimizzazione guidato da agenti, una sorta di hill-climbing automatico.
Secondo il materiale, i sistemi esistenti faticano a fare compilazione continua per un compromesso tra velocità di misurazione e fedeltà della misura. Alcuni usano agenti per ottimizzare singoli kernel del forward pass con benchmark offline, ma i tempi risultano poco fedeli a causa del comportamento dipendente dai dati in primitive come il mixture-of-experts (MoE). Altri agenti ottimizzano direttamente l'engine end-to-end, ma pagano tempi di avvio lenti.
La proposta tecnica: engine a livelli e modello di costo
Per affrontare questo compromesso, Together AI presenta Together Compiler, abbreviato TKCC, che definisce come primo vero ciclo di agenti pensato per l'ottimizzazione continua dell'inferenza AI. L'architettura si basa su due elementi: un Tiered Persistent Engine, che separa l'overhead di avvio dell'engine dal calcolo del forward pass, e un modello di costo che seleziona le configurazioni di parallelismo con cui avviare il processo di ottimizzazione.
Il lavoro riporta anche ablazioni estese sulla gestione del contesto degli agenti e condivide indicazioni tratte dal deployment di TKCC in produzione. Questi ultimi due aspetti, però, sono presentati solo come temi trattati nel paper: il materiale fornito non ne dettaglia i risultati.
I numeri dichiarati e cosa resta da verificare
Nella sintesi si afferma che TKCC supera fino a 1,7 volte i Megakernel scritti a mano e altamente ottimizzati sul carico di lavoro Llama 1B, definito workhorse. Sul benchmark InferenceX, rispetto ai migliori engine open source, il sistema dichiara fino a 2,6 volte più token al secondo sui modelli indicati come più recenti: Kimi K3, GLM 5.3, MiniMax M3.1 Flash e DeepSeek v4.1 Flash, su diverse piattaforme hardware.
TKCC viene inoltre presentato come stato dell'arte a batch size 1, con 1111 TPS su M3.1 Flash e 1205 TPS su DeepSeek v4.1 Flash. Gli autori sostengono infine che il sistema si generalizza oltre l'inferenza sui modelli linguistici di frontiera e che serve trilioni di token nella flotta di produzione. Si tratta di dichiarazioni degli autori, non di risultati verificati in modo indipendente dal materiale disponibile: benchmark, configurazioni hardware e metodo di misura non sono descritti nella sintesi.
