L’AI ha esaurito i dati buoni, l’Europa ne ha ancora

Nel 2022 il gruppo di ricerca Epoch AI aveva stimato che le riserve di testo di alta qualità sul web si sarebbero esaurite prima del 2026, con una data mediana attorno al 2024. Nel giugno 2024 la stessa organizzazione ha rivisto al rialzo la stima, spostando la finestra di esaurimento tra il 2026 e il 2032. Al di là della data esatta, il fatto è che la quantità di dati, testi scritti da umani, è in esaurimento e questo rende più difficile addestrare le IA.

Il paper Scaling Data-Constrained Language Models, firmato da Niklas Muennighoff e otto coautori legati in gran parte a Hugging Face, ha testato oltre 400 configurazioni di addestramento fino a 9 miliardi di parametri e 900 miliardi di token. Per capire il risultato, bisogna ricordare che “epoca” indica un passaggio completo del modello su tutto il set di dati. In mancanza di nuovi dati, si può fare una nuova epoca rileggendo lo stesso testo una seconda, terza o quarta volta invece di usarne di nuovo.

Il paper mostra che rileggere gli stessi dati fino a quattro volte non peggiora le prestazioni, quasi come se fossero dati mai visti prima. Oltre la quarta rilettura, però, ogni ripasso aggiuntivo insegna sempre meno al modello, fino a diventare quasi inutile.

A questo si è sommato un secondo studio, The RefinedWeb Dataset for Falcon LLM di Guilherme Penedo e colleghi, secondo cui il testo del web filtrato con cura può superare le prestazioni dei corpus curati a mano, contraddicendo un’assunzione diffusa nel settore.

Sommando le due scoperte, la stima della riserva di dati di qualità è salita da circa 10.000 miliardi di token nel 2022 a circa 300.000 miliardi nel 2024. Ed ecco perché il momento in cui resteremo senza dati è stato via via spostato in avanti.

Dalla scarsità dei dati all’overtraining

Anzi, assistiamo ora al fenomeno dell’overtraining: vale a dire dare al modello molti più token di quanti ne servirebbero, secondo le leggi di scala, per il numero di parametri che ha. Si fa apposta: un modello più piccolo ma nutrito più a lungo costa meno da far girare in produzione (inferenza), anche se addestrarlo costa di più. Si spende di più una volta per risparmiare ogni volta che il modello viene poi usato.

L’overtraining è già diffuso tra i modelli più recenti: Llama 3 di Meta è stato addestrato su una quantità di token circa dieci volte superiore a quella indicata come ottimale dalle leggi di scala di Chinchilla, per estrarre più valore da un budget di calcolo fisso proprio nel momento in cui i dati diventano la variabile scarsa.

Più un laboratorio sovraccarica l’addestramento oggi, più in fretta consuma la riserva comune di testo di qualità. Nelle simulazioni di Epoch AI sugli scenari di overtraining, la soglia si sposta dal 2028 con un uso compute-ottimale dei dati, al 2027 con un overtraining di 5 volte, fino al 2025 nello scenario più aggressivo, un overtraining di 100 volte. Più le aziende spingono oltre l’ottimo di calcolo, prima arriva il momento in cui i dati finiscono.

Anche chi vende l’AI ammette che i dati sono finiti

A dicembre 2024 Ilya Sutskever, cofondatore di OpenAI e già uscito dall’azienda per fondare Safe Superintelligence, è salito sul palco della conferenza NeurIPS per una delle sue rare apparizioni pubbliche. Ha dichiarato che il pre-addestramento come lo si è conosciuto finirà, perché abbiamo raggiunto il picco dei dati disponibili e non ce ne saranno altri. Il paragone che ha usato è quello dei combustibili fossili: i dati, ha detto, sono stati creati in un certo momento storico, e ora li stiamo consumando più in fretta di quanto se ne generino di nuovi.

Per anni il settore ha trattato il testo disponibile online come una risorsa quasi illimitata, mentre concentrava l’attenzione sulla scarsità di chip e potenza di calcolo. Solo che anche i dati scarseggiano, e scarseggiano in due modi diversi: se guardiamo in particolare ai dati di qualità, il problema è ancora più evidente. Ed è praticamente impossibile da risolvere: trovando le risorse si possono costruire nuove fabbriche e fare più chip (in teoria), ma non si può semplicemente scrivere di nuovo l’enciclopedia scientifica del Novecento. Ciò che è successo, e ciò che sappiamo, non cambierà.

L’ultimatum del 2024 è passato senza problemi

La prima volta si era detto che il problema sarebbe arrivato nel 2024, una specie di nuova versione del Millenium Bug. Sì, ma poi quell’anno è arrivato ed è passato e le cose sono andate avanti lo stesso.

Allora, era tutto un “al lupo al lupo” ma il lupo vero non esiste. Forse, ma per ora ciò che sappiamo è sono cambiate le regole con cui si misura quanto testo serve davvero, più che la quantità di testo rimasta disponibile. È la stessa dinamica che si osserva nei paper su phi-1 e LIMA, discussi più avanti: meno materiale, usato meglio, vale più di un archivio enorme letto una volta sola.

Insomma, non è che c’è più petrolio di prima. Ma abbiamo motori più efficienti, e per ora basta.

E poi c’è il tema veramente importante: la quantità di dati conta meno della qualità, solo che non lo sapevamo dal primo momento. Anzi, all’inizio pensavamo che la qualità sarebbe in qualche modo “emersa” in modo spontaneo, separandosi come per magia dal mare infinito di dati sporchi e inutili che ci circonda.

Un manuale scritto bene supera un archivio enorme e disordinato

Nel giugno 2023 un gruppo di ricerca di Microsoft ha pubblicato Textbooks Are All You Need, il paper che ha dato al fenomeno un nome memorabile. Il modello descritto, phi-1, ha “soltanto” 1,3 miliardi di parametri, una frazione minima rispetto ai concorrenti dell’epoca, ed è stato addestrato in appena quattro giorni su otto GPU A100. Nonostante le dimensioni ridotte, phi-1 ha raggiunto un’accuratezza del 50,6% su HumanEval e del 55,5% su MBPP, due dei benchmark standard per la generazione di codice, superando modelli molto più grandi.

La chiave è nella composizione dei dati: sei miliardi di token selezionati dal web per qualità didattica, più un miliardo di token generati sinteticamente da GPT-3.5 sotto forma di esercizi e spiegazioni in stile manuale scolastico (il textbook del titolo).

Il gruppo di ricerca ha scelto la cura del materiale al posto della quantità, e il risultato ha smentito l’idea che servano miliardi di esempi grezzi per insegnare a un modello a programmare. Il paper è stato pubblicato da Microsoft Research e sviluppato nella serie successiva di modelli, fino a phi-4.

Un mese prima, un gruppo di Meta AI aveva pubblicato LIMA: Less Is More for Alignment, applicando la stessa logica alla fase di allineamento. Il modello, una versione di LLaMA da 65 miliardi di parametri, è stato messo a punto con appena 1.000 esempi selezionati a mano, senza addestramento per rinforzo né modellazione delle preferenze umane. In un confronto alla cieca, le risposte di LIMA sono risultate equivalenti o preferite a quelle di GPT-4 nel 43% dei casi, una percentuale che sale al 58% contro Bard (un modello Google molto vecchio) e al 65% contro un modello addestrato con feedback umano.

Gli autori hanno chiamato questa scoperta “ipotesi dell’allineamento superficiale”: quasi tutta la conoscenza di un modello si forma durante il pre-addestramento, e la fase di allineamento serve solo a insegnargli il formato delle risposte, non nuovi contenuti.

Il limite è che mille esempi bastano per il formato, non per correggere errori di fondo appresi nel pre-addestramento, e i risultati di LIMA restano comunque inferiori a un modello rifinito su larga scala nella maggioranza dei confronti diretti. D’altra parte, ed è questa la cosa importante, la selezione manuale di poche migliaia di esempi ha prodotto un salto di qualità che migliaia di esempi non filtrati non avrebbero garantito.

I laboratori scrivono da soli i propri libri di testo, e ne pagano il prezzo

A dicembre 2024 Microsoft ha pubblicato il rapporto tecnico su phi-4, un modello da 14 miliardi di parametri che porta all’estremo la logica di phi-1. A differenza dei modelli precedenti della stessa famiglia, che si limitavano a distillare le capacità di un modello insegnante, phi-4 integra dati sintetici in ogni fase dell’addestramento e, secondo gli autori, supera il proprio modello insegnante (GPT-4) sulle domande di conoscenza scientifica. La ricetta di addestramento, si legge nel rapporto, è concentrata sulla qualità dei dati più che sulla loro origine, sintetica o umana che sia.

Il problema è che generare dati sintetici in casa non è una soluzione priva di costi. Un gruppo di ricerca guidato da Ilia Shumailov ha pubblicato su Nature lo studio AI models collapse when trained on recursively generated data, dimostrando che addestrare un modello in modo ricorsivo sui contenuti generati da modelli precedenti ne degrada progressivamente la qualità; che, più o meno, è lo stesso problema che si verifica usando dati originali in modo ricorsivo. Gli errori si accumulano di generazione in generazione, e le code distributive, cioè gli eventi rari e le sfumature meno comuni del linguaggio, sono le prime a sparire.

I dati sintetici nascono da materiale “organico” filtrato e da tecniche di revisione multipla, e si rendono necessari proprio per supplire alla carenza – sempre più evidente – di dati originali. Non è l’unica soluzione possibile, e infatti i grandi laboratori si danno da fare per avere accesso legale a quanti più dati possibili; OpenAI, per esempio, ha firmato accordi di licenza con Associated Press, Axel Springer e Reddit. I dati sintetici restano un complemento, non un sostituto del materiale scritto da esseri umani.

Il tesoro dei dati europei

La startup francese Pleias, fondata nel 2024, ha pubblicato Common Corpus, il più grande insieme di dati testuali di dominio pubblico mai raccolto per addestrare modelli linguistici: oltre 2.000 miliardi di token, con le maggiori raccolte aperte esistenti in francese, tedesco, spagnolo, olandese e italiano. La scelta di usare solo materiale di dominio pubblico o con licenza esplicita elimina alla radice il problema del copyright, che sta provocando parecchi grattacapi negli Stati Uniti.

Il secondo tassello è la Fondazione Europeana, il portale che dà accesso a oltre 58 milioni di oggetti digitali tra libri, giornali, opere d’arte e documenti d’archivio delle istituzioni culturali europee. Attraverso la piattaforma AI4Culture, finanziata dal programma Digital Europe della Commissione, quel patrimonio viene reso disponibile in formato aperto per addestrare e testare modelli di AI.

La differenza rispetto ad altri dataset generici si spiega in poche parole ma è fondamentale: questo è un dato che porta con sé secoli di catalogazione e verifica filologica. Questo è il dato “di qualità”, che può far funzionare l’AI anche se ne abbiamo poco.

Il terzo pezzo è politico più che tecnico. Il piano d’azione per il continente AI presentato dalla Commissione europea nell’aprile 2025 ha aperto la strada alla Data Union Strategy, pubblicata a novembre dello stesso anno, che punta a creare Spazi Comuni Europei dei Dati per rendere disponibili ai modelli europei dataset scientifici, legali e amministrativi oggi frammentati tra le amministrazioni nazionali. Mettere ordine in un patrimonio linguistico multilingue e verificato vale più, in questa fase, di raschiare ancora il web in inglese.

Sul fronte scientifico il tassello si chiama RAISE, la Resource for AI Science in Europe presentata dalla Commissione nell’ottobre 2025 dentro la strategia europea sull’AI nella scienza: mette in comune dati, potenza di calcolo e fondi oggi frammentati tra i ventisette sistemi nazionali di ricerca, con oltre 600 milioni di euro stanziati da Horizon Europe solo per l’accesso al calcolo. La letteratura scientifica europea, spesso multilingue e sottoposta a revisione paritaria, resta un asset difficile da replicare per chi parte solo da testo raschiato dal web in inglese, a patto che l’iniziativa riesca davvero a smontare la frammentazione tra i sistemi nazionali.

Il messaggio, dunque, sembra essere: In Europa abbiamo secoli di cultura già ben organizzati e catalogati, abbiamo un immenso corpus di ricerca scientifica peer reviewed, e siamo pronti a mettere tutto a disposizione per l’addestramento delle AI.

A tutto questo, poi, in teoria c’è ancora altro da aggiungere. In Europa ci sono decine di migliaia di piccole aziende, e ognuna di esse, potenzialmente, detiene un proprio piccolo tesoro in termini di dati digitali. Informazioni che non si possono condividere con la stessa “leggerezza” dei dataset usati dalla Data Union Strategy, ma la cui sola esistenza mette le PMI europee in una posizione privilegiata, in questo discorso.

Chi controlla l’archivio decide chi vince la fase successiva

La scarsità di dati di qualità non pesa allo stesso modo su tutti gli attori del mercato. Chi può permettersi di pagare accordi di licenza esclusivi accede a materiale che i concorrenti più piccoli non vedranno mai, e i tre contratti firmati da OpenAI con editori ed enti giornalistici ne sono la prova più diretta. Un laboratorio open source che si affida solo a materiale liberamente disponibile parte, in questo scenario, da una posizione strutturalmente più debole.

Per l’Europa il vantaggio degli archivi istituzionali resta potenziale finché non viene difeso. Gli stessi dataset multilingue che Pleias o Europeana rendono disponibili in formato aperto possono essere scaricati e usati da un laboratorio con sede a San Francisco tanto quanto da uno con sede a Parigi, perché l’apertura del dato non implica automaticamente un ritorno economico o industriale per chi lo ha catalogato. La retorica sulla sovranità digitale europea rischia di restare tale se l’accesso aperto ai propri archivi non si traduce in modelli, infrastrutture e ricavi che restano sul continente.

Chi gestisce oggi un archivio proprietario, un catalogo scientifico o una raccolta legale non ancora digitalizzata bene ha in mano una leva che vale più di quanto valesse cinque anni fa. Il problema è che quella leva si traduce in valore solo se qualcuno la negozia, la protegge con licenze mirate invece che con l’apertura indiscriminata, e la collega a infrastrutture di calcolo che oggi restano in gran parte fuori dai confini europei. Finché quel passaggio manca, il vantaggio strutturale resta sulla carta, e a incassare il valore dei dati di qualità europei continuano a essere gli stessi laboratori che oggi comprano licenze altrove.