Che cosa ha rilasciato Cmpnd
Cmpnd ha pubblicato dspy-wsp, un ottimizzatore sperimentale che introduce la programmazione dello spazio dei pesi, o WSP, nell'ecosistema DSPy. Secondo quanto riporta MarkTechPost, il pacchetto è distribuito con licenza MIT, si installa via pip e richiede DSPy 3.5. Il componente centrale si chiama WeightSpace e si inserisce in qualsiasi programma e metrica DSPy.
L'approccio ribalta il fine-tuning classico: nessun gradiente, nessun ciclo di addestramento, nessun dataset dedicato. Un modello di frontiera, nel caso dei test GPT-6-Astra, legge i tensori di pesi di un altro modello, ragiona su ciò che calcolano e li modifica per raggiungere un obiettivo espresso in linguaggio naturale. L'idea deriva dalla ricerca MIT intitolata Sparks of Weight-Space Programming, che la stessa fonte definisce una capacità emergente più che un metodo codificato.
Come funziona e cosa è stato misurato
Il flusso di dspy-wsp prevede tre attori: un writer, che propone in ogni turno una breve spiegazione seguita da un blocco di codice; un meccanismo di forward pass con un budget fisso, impostato a 25 passaggi nei test; e un insieme di validazione nascosto che confronta pesi originali e modificati sugli stessi esempi e seed. Il codice prodotto è una patch: il writer può applicare modifiche mirate, come quella al backbone del modello da 2 miliardi di parametri al livello 23 o alla parte dello scorer della testa decisionale di d1-omni-600M.
Le prove sono state condotte su Typed Decisions, benchmark con 400 casi e 2.000 decisioni probabilistiche tipizzate. Nei dati citati, WeightSpace da solo ha aggiunto da 1,9 a 16,1 punti; combinandolo con ReAnchor, un ottimizzatore precedente che ricalibra le soglie di risposta senza chiamate a LLM, i guadagni sono saliti tra 6,5 e 20,0 punti. Il caso migliore è d1-omni-600M, passato dal 50,9% al 69,1% con entrambi gli strumenti. Il peggiore è Clef-Flash da 9 miliardi, fermo a +1,9 con il solo WeightSpace.
Limiti e questioni aperte
La fonte segnala diversi motivi di cautela. Con la regola più severa usata nel lavoro originale, che impedisce al writer di ricalcolare la testa decisionale nel proprio kernel, d1-omni-600M ha guadagnato solo 2,8 punti e l'aggiunta di ReAnchor non ha superato ReAnchor da solo. La scelta del writer conta: con gpt-6.1-sol i risultati sono stati +5,8, +12,1 e -0,6 su tre modelli, mentre Astra ha prodotto +16,1, +13,3 e +13,4. Ogni esecuzione richiede da 78 a 167 minuti. Gli esperimenti sono stati eseguiti su un solo Mac, con circa 6 GB di memoria per i modelli da 2 miliardi e almeno 4 GB per d1-omni-600M.
Cmpnd presenta anche i punti di forza: costo contenuto, tra 5 e 10 dollari di chiamate a GPT-6-Astra per migliorare ogni modello provato, e patch piccole e verificabili, con hash sha256 dei tensori di partenza e modificati che permettono di ricostruire esattamente i pesi. Resta però un quadro sperimentale: i guadagni sono più deboli sui modelli grandi e la ricerca originale mostra che la modifica può rimuovere un ostacolo ma non aggiungere una capacità mancante. La stessa fonte ricorda che il concetto non esclude i gradienti, benché siano stati banditi negli esperimenti.
