Un solo segnale al posto delle regole per fornitore
OpenAI, Google, Microsoft e Anthropic hanno presentato il 30 ottobre una proposta comune per consentire ai siti di opporsi all'uso dei propri contenuti nell'addestramento dei modelli di intelligenza artificiale. L'elemento centrale è un segnale da inserire nel file robots.txt, pensato per essere riconosciuto da tutte le aziende aderenti invece di richiedere un'istruzione distinta per ciascun fornitore. Lo riporta AI4Business.
La proposta si chiama Machine-Readable Training Preference Signal ed è stata depositata come Internet-Draft all'IETF da Kevin Kelley di Anthropic, nel gruppo di lavoro AI Preferences. Si tratta quindi di una bozza tecnica, non di uno standard approvato. Il nuovo token, __usage_ai-training, indica lo scopo dell'utilizzo e non un particolare software di scansione: per escludere l'intero sito dal training generativo la bozza prevede le righe User-Agent: __usage_ai-training e Disallow: /, con eventuali eccezioni tramite Allow su singole cartelle.
Training e grounding, due utilizzi distinti
Il punto tecnico decisivo è la separazione tra addestramento e grounding. Nel primo caso i contenuti contribuiscono a modificare i parametri appresi da un modello; nel secondo un sistema consulta informazioni esterne per costruire o verificare una risposta al momento della richiesta. Un editore può voler bloccare il training e accettare il grounding, perché una risposta AI che rimanda al suo sito può aumentare la visibilità.
Microsoft ha annunciato due famiglie di preferenze: AI Training usa il segnale comune nel robots.txt e può essere impostata anche per singola pagina; AI Grounding decide se Bing, Copilot, Microsoft 365 e i servizi collegati possano usare una pagina per alimentare risposte generate, tramite metatag o intestazione HTTP. Le opzioni sono Allow, predefinita in assenza di scelta, DisallowExtended, che limita l'uso alle esperienze gestite direttamente da Microsoft, e Disallow. Secondo l'azienda queste scelte non modificano di per sé l'idoneità a comparire nei risultati ordinari di Bing, ma bloccare il grounding può ridurre la presenza nelle esperienze AI senza compensazione economica automatica.
Scadenze e differenze da verificare
Microsoft ha fissato una sequenza operativa: dal 1° febbraio 2027 Bing rispetterà le nuove preferenze man mano che scansiona i siti, quindi il caricamento di una regola non ne garantisce l'applicazione immediata. Al 1° marzo 2027 è previsto il termine per chi oggi usa NoArchive o NoCache per limitare training e grounding: questi gestori dovranno pubblicare le nuove preferenze e, per continuare a limitare il grounding, inserirle nelle pagine e registrare una scelta temporanea in Bing Webmaster Tools, disponibile dal 15 dicembre 2026 e valida fino al passaggio del crawler o comunque entro il 30 settembre 2027. Non si tratta di un obbligo generale per tutti i siti.
Google, dal canto suo, prevede di interpretare l'opt-out comune come divieto per Google-Extended quando il gestore non abbia dato istruzioni esplicite. Poiché Google-Extended incide anche sul grounding di alcune esperienze Gemini, un opt-out generalizzato potrebbe ridurre la visibilità nelle Gemini Apps; resta possibile affiancare una scelta specifica per Google-Extended. Il quadro è quindi ancora in evoluzione: la bozza IETF non è uno standard, i quattro gruppi hanno annunciato impegni e tempi differenti e il controllo non è attivo contemporaneamente presso tutti. Le vecchie regole per i singoli fornitori continueranno a essere rilevanti, e il materiale non chiarisce ancora come verranno gestiti i casi non coperti dagli impegni annunciati.
