Cloudflare ha appena lanciato una svolta per il settore dell'intelligenza artificiale, richiedendo che i crawler utilizzati per addestrare modelli AI siano distinti da quelli utilizzati per scopi tradizionali come Google Search. A partire da settembre 15, 2026, le impostazioni predefinite di Cloudflare bloccheranno per default i crawler "ibridi" da qualsiasi pagina che ospiti annunci pubblicitari, come dichiarato nella settimana da Cloudflare.
L'Impatto Su Agente e Addestramento AI
Questo significherà che i crawler che combinano funzioni di ricerca, di agenti e di addestramento saranno per default bloccati nel crawling di tali siti, a meno che il proprietario del sito non modifichi le impostazioni. Questi cambiamenti si applicheranno ai nuovi clienti Cloudflare, ai nuovi siti configurati dagli utenti esistenti e a tutti gli utenti esistenti del piano gratuito, come specifica l'azienda.
Il cambiamento potrebbe influenzare il modo in cui i fornitori di modelli AI possono accedere al contenuto web per scopi di formazione e per sostenere i loro servizi autonomi.
La Protezione del Contenuto
Cloudflare ha ribadito che la maggior parte dei proprietari di siti vorrebbe che il loro contenuto fosse scoperto tramite ricerca e a volte attraverso servizi AI, ma desiderano protezioni per il loro diritto d'autore. In particolare, Cloudflare cita il "più grande motore di ricerca al mondo" (si intende chiaramente Google) che ha accesso circa "due volte di più" rispetto ad altre aziende AI, perché rende difficile per i clienti rimanere scopribili senza essere utilizzati per AI.
Reazione da Google
Google ha respinto in passato questa generalizzazione, affermando di fornire un bot chiamato Google Extended che permette ai proprietari del sito di escludere il loro contenuto dall'essere utilizzato per l'addestramento e servizi AI come Gemini Apps e Vertex API. L'uso di questo bot non influisce sull'inclusione del sito in Google Search. Tuttavia, Googlebot, il motore di ricerca principale di Google, include funzioni AI come AI Overviews e AI Mode.
Un Ecosistema Sostenibile
Matthew Prince, co-fondatore e CEO di Cloudflare, ha affermato nel suo comunicato che "ora che la maggior parte del traffico Internet è non umano, dobbiamo andare oltre e agire più velocemente affinché un ecosistema sostenibile emerga". Ha fatto riferimento al recente traguardo raggiunto in cui i bot hanno superato il traffico umano online, un cambiamento precedentemente previsto solo per il prossimo anno.
Prince ha anche sottolineato che i nuovi strumenti e le partnership di Cloudflare offrono ai proprietari dei siti una maggiore visibilità e opportunità commerciali, beneficiando anche delle aziende AI con bot che intendono essere chiari e trasparenti. Sperano che le prossime modifiche predefinite incoraggino i crawler misti a separare la ricerca dal funzionamento e addestramento degli agenti.
Strumenti Nuovi per la Controllabilità e il Commercio
Sebbene Cloudflare offra una diversità di prodotti per aiutare gli utenti a lanciare i propri sistemi AI, l'azienda ha rilasciato una serie di strumenti che danno ai publisher un controllo maggiore sul loro contenuto nell'era di AI. Questi includono un mercato che consente ai siti web di far pagare i crawler AI per lo scraping, indicato come "Pay Per Crawl".
- Cloudflare ha lanciato strumenti di controllo per i crawler AI.
- Ha introdotto il "Pay Per Crawl", evoluzione in "Pay Per Use".
- Questo modello permette ai publisher di guadagnare quando il loro contenuto crea valore.
Il cambiamento è mirato anche a conservare la larghezza di banda e le risorse computazionali dei publisher per i fornitori di modelli AI, in quanto i dati di Cloudflare indicano che oltre il 50% del traffico da crawler AI è speso per prelevare pagine non cambiate.
Per mettere in atto questa soluzione, Cloudflare sta collaborando inizialmente con due partner: Ceramic.ai e You.com. Quando un editore entra nel progetto, verrà pagato quando il suo contenuto appare nei risultati della ricerca AI di Ceramic o quando You.com accede ai suoi contenuti premium.
Cloudflare ha affermato che altre aziende AI possono personalizzare questo modello in base al loro funzionamento, segnando una svolta nel modo in cui il contenuto web è accessibile e commercializzato nel nuovo panorama dell'AI.