Che cosa distingue i router MoE
I modelli Mixture-of-Experts open condividono il principio di base ma divergono quasi su ogni dettaglio del routing. Secondo la comparazione pubblicata da MarkTechPost e verificata il 7 novembre 2026 su config.json, model card e report tecnici, tutti i dieci modelli esaminati adottano il token-choice routing, in cui ogni token seleziona autonomamente i propri esperti. Le differenze si concentrano su cinque parametri: numero di esperti instradati, quanti esperti per token, presenza di esperti condivisi sempre attivi, funzione di scoring e metodo di bilanciamento del carico.
L'articolo colloca l'intervallo degli esperti instradati tra 8 e 384 e il top-k tra 1 e 8. Il numero di esperti incide sui pesi residenti in memoria e sul traffico all-to-all tra nodi; un top-k più basso riduce il calcolo e la comunicazione per token; gli esperti condivisi aggiungono un percorso denso che ogni token paga. Sono indicazioni utili, secondo la fonte, per dimensionare le GPU prima di un deployment MoE.
Le configurazioni a confronto
Mixtral 8x7B, con 47 miliardi di parametri totali e 13 attivi, instrada su 8 esperti con top-2 e nessun esperto condiviso, usando softmax sui top-k e una auxiliary loss con coefficiente 0,02 indicata nella configurazione. Qwen3-235B-A22B sale a 128 esperti con top-8 senza esperti condivisi e adotta una global-batch auxiliary loss con coefficiente 0,001. Qwen3.6-35B-A3B cambia impostazione: 256 esperti, 8 instradati più uno condiviso, con metodo di gating non divulgato nella configurazione.
DeepSeek-V3 usa 256 esperti con top-8, uno condiviso, scoring sigmoid e bilanciamento senza auxiliary loss tramite bias per esperto (noaux_tc); gli esperti sono organizzati in 8 gruppi e il router ne preserva prima 4, così ogni token raggiunge al massimo 4 nodi secondo il report tecnico. DeepSeek-V4-Pro porta gli esperti a 384 ma abbassa il top-k a 6, passa a sqrtsoftplus e usa hash routing nei primi 3 layer MoE. Llama 4 Maverick alterna layer densi e MoE e sceglie un solo esperto instradato tra 128 più uno condiviso, mantenendo 17 miliardi di parametri attivi su 400 totali. gpt-oss-120b usa un router lineare su 128 esperti con top-4, nessun esperto condiviso e pesi in MXFP4, formato che consente al modello da 117 miliardi di stare su una singola GPU da 80 GB. Kimi K2 adotta l'architettura DeepseekV3ForCausalLM con 384 esperti e top-8, mentre GLM-4.5 preferisce 160 esperti e più layer.
Prestazioni dichiarate e lacune informative
Sul fronte delle prestazioni, la fonte riporta che la sparsità instradata varia di 4 volte in Mixtral (8 esperti, top-2) fino a 128 volte in Llama 4 Maverick (128 esperti, top-1). Il dato migliore citato riguarda Kimi K2: con sparsità 48 il modello richiederebbe 1,69 volte meno FLOP rispetto a sparsità 8 a parità di validation loss, secondo il report del modello.
Restano però lacune dichiarate apertamente: Llama 4 Maverick e gpt-oss non pubblicano nelle rispettive configurazioni il metodo di gating o di bilanciamento, e le configurazioni e card di Qwen3.6 e Llama 4 omettono il gating. Di conseguenza, etichette come «17B attivi» possono nascondere router molto diversi tra loro. La trasparenza delle configurazioni rende il routing verificabile, ma non per tutti i modelli allo stesso livello; i dettagli mancanti vanno considerati un limite della comparazione, non un'assenza di funzionamento.
