Cloudflare blocca di default i crawler AI, svolta per gli editori europei

Per gli editori digitali, i marketplace e le imprese italiane che monetizzano contenuti online, la nuova mossa di Cloudflare sposta il rapporto con i crawler AI da scelta tecnica a decisione commerciale e di compliance. Dal 15 settembre 2026, secondo la ricostruzione pubblicata da TechCrunch, i default della piattaforma bloccheranno i crawler a uso misto sulle pagine che ospitano pubblicità, salvo intervento contrario del titolare del sito.

La modifica riguarda i nuovi clienti Cloudflare, i nuovi siti creati da clienti esistenti e tutti i clienti già attivi sul piano gratuito. Per chi opera in Italia, il punto operativo è immediato: le pagine con annunci, contenuti premium o asset editoriali dovranno essere classificate anche in base alla loro esposizione a search, agent use e training, in un quadro europeo in cui l’AI Act impone già obblighi di trasparenza e rispetto del diritto d’autore ai fornitori di modelli di uso generale.

Il blocco passa dalla dashboard

Cloudflare ha fissato una scadenza all’industria dell’AI: separare i crawler usati per la ricerca tradizionale, come Google Search, da quelli impiegati per agenti AI e addestramento dei modelli. Nel comunicato ufficiale di Cloudflare, l’azienda spiega che i nuovi default permetteranno la ricerca ma bloccheranno training e agent use sulle pagine con advertising.

Il bersaglio dichiarato sono i mixed-use crawlers, cioè crawler che combinano finalità diverse senza offrire ai proprietari dei siti la possibilità di distinguere tra indicizzazione per ricerca, uso da agente e addestramento. Se un crawler non consente questa separazione, verrà bloccato di default sulle pagine con annunci. Il titolare del sito potrà comunque modificare l’impostazione nella dashboard.

La scelta nasce da una tensione già nota agli editori: restare indicizzati nella ricerca, quindi trovabili dagli utenti, senza consegnare gratuitamente contenuti protetti a sistemi che possono usarli per risposte AI o training. Cloudflare sostiene che molti proprietari di siti vogliono visibilità nella ricerca e, in alcuni casi, anche nei servizi AI, ma chiedono protezioni contro l’uso non remunerato della proprietà intellettuale.

La leva economica sui crawler

Il blocco dei crawler misti si affianca a una linea già avviata da Cloudflare con Pay Per Crawl, lo strumento che consente ai siti di far pagare l’accesso ai bot AI. Nel modello Pay Per Crawl, i proprietari dei domini possono scegliere se consentire, far pagare o bloccare un crawler, con decisioni applicate dopo le policy WAF e di bot management già configurate.

Secondo quanto riportato da TechCrunch, Cloudflare sta facendo evolvere Pay Per Crawl in Pay Per Use. La differenza è sostanziale per un editore: il pagamento non sarebbe legato solo al recupero della pagina, ma al momento in cui il contenuto genera valore per un’azienda AI. Cloudflare indica due primi partner: Ceramic.ai e You.com.

Nel modello iniziale descritto dalla società, quando un publisher aderisce, viene pagato se il suo contenuto appare nei risultati di ricerca AI di Ceramic o quando You.com accede a un contenuto premium. Cloudflare aggiunge che altre aziende AI potranno personalizzare il modello in base al proprio funzionamento, elemento che lascia spazio a contratti diversi tra editori, piattaforme di risposta e fornitori di agenti.

La società lega la monetizzazione anche a un problema di costi infrastrutturali. I dati citati da Cloudflare indicano che oltre il 50% del traffico di crawling proveniente da crawler AI viene speso per recuperare di nuovo pagine che non sono cambiate. Per siti italiani con margini pubblicitari compressi, questa voce non è solo consumo di banda: significa carico su cache, origin, logging, sicurezza e analisi.

Per editori e PMI italiane

Per un editore italiano, la prima decisione non riguarda l’AI in astratto, ma la mappa delle pagine. Le sezioni sostenute da advertising rientrano direttamente nel nuovo default Cloudflare; le aree premium o dietro registrazione possono richiedere regole separate; le pagine corporate, di documentazione tecnica o di supporto possono avere un valore diverso per la ricerca rispetto al training. La stessa logica può interessare software house, portali B2B, e-commerce con guide all’acquisto e imprese che pubblicano knowledge base tecniche.

Cloudflare presenta nelle nuove opzioni per il traffico AI tre categorie operative: Search, Agent e Training. La separazione impone a marketing, IT e legale di concordare una policy comune: cosa deve restare indicizzabile, cosa può essere usato da assistenti automatici, cosa non deve alimentare modelli senza accordo commerciale.

Nel contesto UE, la discussione si innesta sulle regole per i modelli di AI di uso generale. La Commissione europea ricorda nelle regole europee sull’AI Act che gli obblighi per i GPAI models includono profili di trasparenza e copyright, oltre a riepiloghi pubblici del contenuto usato per l’addestramento secondo template dell’AI Office. Il regolamento (UE) 2024/1689 è entrato in vigore il 1 agosto 2024 e la piena applicazione è indicata al 2 agosto 2026, con eccezioni già operative.

Google resta il nodo più delicato

Cloudflare chiama in causa il motore di ricerca più grande al mondo, senza nominarlo direttamente nel passaggio citato da TechCrunch, sostenendo che abbia accesso a circa due volte più informazioni rispetto ad altre aziende AI perché rende difficile restare visibili senza essere usati anche per funzioni AI. Il riferimento è chiaramente a Google.

Google, secondo TechCrunch, ha contestato in passato questa generalizzazione ricordando l’esistenza di Google Extended, bot che permette ai proprietari dei siti di escludere i propri contenuti dall’uso per training e prodotti AI come Gemini Apps e Vertex API, senza incidere sull’inclusione in Google Search. Il nodo resta Googlebot, che effettua crawling per la ricerca e include funzionalità come AI Overviews e AI Mode.

Matthew Prince, cofondatore e CEO di Cloudflare, ha collegato la decisione al passaggio in cui i bot hanno superato gli umani nel traffico online. Per le imprese, questa soglia cambia il modo in cui leggere i log: non basta più separare traffico organico e traffico sospetto, serve distinguere il valore restituito da ciascun crawler rispetto al costo tecnico e commerciale dell’accesso.

Contratti e log diventano prove operative

La conseguenza pratica è che i log di bot management diventano materiale negoziale. Un publisher che vede crawling intenso ma pochi referral può usare i dati per decidere se bloccare, monetizzare o concedere accesso gratuito a specifici crawler. Cloudflare afferma che i nuovi strumenti danno ai proprietari dei siti maggiore visibilità e opportunità commerciali, premiando le aziende AI con bot dall’intento chiaro e trasparente.

Per le aziende AI, il messaggio è speculare: i crawler che non distinguono ricerca, agenti e training rischiano di perdere accesso alle pagine monetizzate da advertising presso i clienti Cloudflare coinvolti dai nuovi default. La separazione tecnica dei bot diventa quindi anche un requisito di relazione commerciale con gli editori e con i proprietari di contenuti.

Per le imprese italiane che pubblicano contenuti proprietari, il lavoro preparatorio può essere svolto senza attendere nuovi obblighi nazionali: censimento dei crawler presenti nei log, classificazione delle sezioni con advertising, verifica di robots.txt, regole WAF e policy Cloudflare, mappatura dei contenuti che hanno valore per training o agenti. La decisione non sostituisce licenze, contratti o valutazioni sul diritto d’autore, ma crea un livello tecnico di enforcement più vicino al punto di accesso.

Una scelta tecnica con effetti commerciali

Il nuovo default non è un paywall universale e non blocca automaticamente ogni forma di ricerca. Cloudflare indica che la ricerca resterà consentita di default, mentre training e agent use saranno bloccati sulle pagine con annunci per le categorie di clienti interessate. I clienti potranno cambiare impostazioni, compresa la possibilità di mantenere configurazioni diverse prima della scadenza del 15 settembre 2026.

La partita per gli editori europei si sposta così su tre piani: controllo tecnico dei crawler, negoziazione del valore dei contenuti e tracciabilità dell’uso ai fini AI. Chi gestisce siti in Italia dovrà decidere se trattare i crawler AI come traffico da ottimizzare, da monetizzare o da limitare; per i fornitori di modelli e agenti, l’accesso indistinto al web diventa più costoso quando passa da infrastrutture che impongono finalità dichiarate e regole di default.