Un unico segnale al posto di regole per singolo crawler
OpenAI, Google e Microsoft hanno annunciato il 30 ottobre, ora locale, l'intenzione di supportare un meccanismo comune che consente ai gestori dei siti web di comunicare in un solo colpo a più aziende di intelligenza artificiale se i propri contenuti possono essere usati per l'addestramento dei modelli. Lo riporta ITmedia AI+, secondo cui anche Anthropic sta procedendo con l'implementazione. Il meccanismo nasce da un Internet-Draft presentato lo stesso giorno all'IETF da Kevin Kelly, responsabile della standardizzazione di Anthropic, e si basa sui lavori del gruppo AIPREF dello stesso ente.
Finora chi gestisce un sito doveva identificare il crawler di ogni azienda e scrivere regole separate per ciascuno. Il nuovo approccio prevede di inserire nel robots.txt un policy token condiviso, "__usage_ai-training", sotto la riga "User-Agent": le direttive "Disallow" indicano il rifiuto dell'uso per l'addestramento, mentre "Allow" esprime consenso. L'esempio riportato dalla fonte mostra come si possa escludere tutto il sito tranne una cartella specifica.
Cosa cambia davvero per i siti e cosa resta escluso
La fonte chiarisce un punto decisivo: questo segnale non blocca la scansione dei contenuti da parte dei crawler. Per limitare l'accesso restano validi i controlli tradizionali per singolo crawler. Il token riguarda solo l'utilizzo dei contenuti per modificare i parametri già addestrati di un modello generativo; non copre, secondo la definizione riportata, gli addestramenti finalizzati a usi diversi dalla generazione. In assenza del token si presume che il sito non abbia espresso alcuna preferenza.
La scelta di non introdurre nuove direttive o una nuova sintassi dovrebbe evitare effetti sui parser esistenti. Viene inoltre riconosciuta la possibilità per le aziende di far prevalere i propri strumenti di controllo rispetto al segnale comune o di applicare trattamenti diversi in base a contratti specifici. Il draft, sottolinea la fonte, è stato depositato a titolo personale e al momento non ha uno status formale nel percorso di standardizzazione IETF.
Tempistiche diverse e nodo della standardizzazione
Le tempistiche annunciate non coincidono. OpenAI punta a implementare il supporto entro pochi mesi e ha dichiarato che pubblicherà i dettagli al momento dell'attuazione, mantenendo validi i controlli robots.txt già esistenti e invitando le altre aziende AI a rispettare il segnale condiviso. Google mira al 2027 e ha precisato che, se un sito rifiuta l'addestramento tramite il segnale condiviso senza indicare esplicitamente Google-Extended, il rifiuto sarà considerato valido anche per quello strumento. Microsoft prevede di leggere e applicare le nuove impostazioni dal 1° febbraio 2027.
La fonte riporta anche che Google collega l'iniziativa alle richieste di editori, gruppi civili e autorità di regolamentazione e la considera coerente con il codice di condotta per i fornitori di modelli di AI generica previsto dall'EU AI Act. Microsoft ha indicato che, oltre al segnale nel robots.txt, introdurrà controlli per singola pagina tramite meta tag e intestazioni HTTP, con priorità sul robots.txt, e che le nuove impostazioni sostituiranno NoArchive e NoCache, con richiesta di migrazione entro il 1° marzo 2027. Restano da verificare l'effettiva adozione da parte delle altre aziende e l'eventuale evoluzione del draft in sede IETF.
