Un modello grande che sta su hardware consumer
Thinking Machines Lab ha pubblicato Inkling 2 Mini, un modello linguistico open-weight con 26,4 miliardi di parametri totali e 3,4 miliardi attivi, che secondo la fonte raggiunge 5,4 miliardi effettivi per token grazie al meccanismo di looping. La novità principale non è la dimensione, ma il modo in cui il modello sfrutta i propri pesi: invece di aggiungere parametri, riutilizza i layer centrali tre volte per ogni token. Il risultato è un checkpoint di circa 20GB, compatibile con un Mac con almeno 32GB di memoria o con una singola NVIDIA DGX Spark.
La scheda del modello indica una finestra di contesto fino a un milione di token e la capacità di accettare testo e immagini restituendo solo testo. La distribuzione avviene con licenza Apache 2.0 su Hugging Face, con inferenza ospitata e fine-tuning tramite Tinker. Sono disponibili build quantizzate GGUF attraverso Unsloth e llama.cpp, e il supporto per il serving copre Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo e TokenSpeed. La fonte non riporta il prezzo di Tinker per questa versione.
Come funziona il looping e perché è stato scelto
Il modello memorizza 24 layer, organizzati in quattro blocchi da sei. Il primo e l'ultimo blocco vengono eseguiti una sola volta, mentre i due blocchi centrali vengono ripetuti tre volte con pesi condivisi: si ottengono così 48 applicazioni di layer per token partendo da 24 layer di pesi. Ogni passaggio successivo al primo riceve un messaggio dal passaggio precedente, veicolato da Attention Residuals e da un gate appreso. I layer feed-forward usano 128 esperti, di cui 8 instradati per token.
Secondo Thinking Machines, il looping dei layer centrali produce un guadagno equivalente in compute tra 1,51x e 1,91x, mentre ripetere i layer finali si ferma tra 1,24x e 1,36x; la variante con loop centrale avrebbe vinto 27 valutazioni su 28. Il meccanismo però sposta il costo: un baseline senza loop ha usato il 7,5% in meno di compute in addestramento, ma ha richiesto il 140% in più di compute in inferenza per eguagliare la loss del modello con loop su tracce agentiche da 512k token. È una scelta di progetto che privilegia l'efficienza in fase di utilizzo rispetto a quella in addestramento.
Risultati dichiarati e limiti riconosciuti
Tutti i punteggi di Inkling citati dalla fonte sono autodichiarati da Thinking Machines e vanno trattati come tali. L'area più forte è il coding: 79,2% su SWE-bench Verified nella modalità solo bash e 77,9% su SWE-bench Pro v2 Hard; su DeepSWE v1.1 segna 48,2%, contro il 42,2% che la scheda di Qwen attribuisce a Qwen3.8-27B. Su Terminal Bench v2.1 si ferma al 71,6%, dietro il 73,0% di Qwen3.8-27B. La ricerca agentica registra 79,0% su BrowseComp con compaction e 82,7% su MCP Atlas; per documenti e visione il modello dichiara 92,8% su OmniDocBench v1.6 e 74,9% su MMMU Pro.
I punti deboli riguardano soprattutto la conoscenza e il dialogo. Il modello segna -8,6 su AA-Omniscience con una percentuale di non-allucinazione del 63,4%, e la fonte osserva che il looping non ha aiutato i benchmark di conoscenza, che dipendono soprattutto dal numero totale di parametri. Su MultiChallenge ottiene 50,0% e su ComplexConstraints v1.1 il 33,4%, con risultati inferiori ai modelli più grandi anche su HLE-Diamond (15,2%) e CritPt v2. La società stessa indica che non è la scelta migliore per chat multi-turno o prompt con molti vincoli.
Sul fronte dell'efficienza energetica, Thinking Machines dichiara 0,703 sulla metrica Intelligence per Watt di Stanford su DGX Spark, contro 0,430 di Qwen3.6-35B-A3B e 0,159 di Gemma-4-26B-A4B. La fonte avverte però che ogni colonna usa la scheda del rispettivo produttore e che harness e impostazioni differiscono: i confronti tra vendor vanno letti come indicativi, non come misure omogenee. Restano inoltre da verificare in modo indipendente i punteggi dichiarati e il prezzo dell'inferenza ospitata.
