Le nuove strategie di sviluppo AI: più tecniche di addestramento che dimensioni dei modelli

(Fonte) Luca Mari e Francesco Bertolotti – 22 luglio 2025

Quasi tutti i modelli linguistici attuali si basano sull’architettura Transformer, proposta nel 2017 da un gruppo di ricercatori di Google. Ma per arrivare a ChatGPT nel 2022 (oggi con oltre 500 milioni di utenti), è stato necessario un secondo catalizzatore — probabilmente legato a disponibilità di dati, potenza computazionale o fattori socio-economici — : in seguito OpenAI ha portato questa architettura a uno sviluppo radicale con la serie di modelli GPT, puntando inizialmente su un’espansione massiccia del numero di parametri. Dal 2018 al 2023, i modelli GPT sono cresciuti in modo esponenziale (da 100 milioni a circa 1.000 miliardi di parametri), secondo le cosiddette “leggi di scala”, secondo cui l’aumento della complessità (numero di parametri) porta a una riduzione sistematica degli errori nei compiti linguistici.

Questa crescita quantitativa è stata resa possibile dall’uso di GPU per il calcolo parallelo, fondamentali per gestire l’enorme carico computazionale dei Transformer. Tuttavia, a partire dal 2023, la tendenza sembra essersi invertita.

Benchmarks pubblici mostrano continui miglioramenti qualitativi dei modelli linguistici più avanzati (come GPT-4.5), ma non è più detto che ciò dipenda da una crescita nel numero dei parametri. Infatti, molte aziende (tra cui OpenAI) non pubblicano più tali dati, e i modelli open source dimostrano che anche architetture più piccole possono raggiungere prestazioni elevate.

Sam Altman (OpenAI) ha dichiarato esplicitamente che l’era dei modelli sempre più grandi è ormai conclusa: la sfida attuale è migliorare i modelli in altre direzioni. In questo nuovo scenario emergono:

• SLM (Small Language Models), più efficienti e meno costosi da addestrare e distribuire;
• Modelli MoE (Mixture of Experts), che attivano solo parti selettive della rete a ogni inferenza, aumentando l’efficienza senza compromettere la qualità.

L’aumento del numero di parametri nei modelli di intelligenza artificiale comporta un crescente impiego di risorse (energia, calcolo, dati, raffreddamento) e una maggiore complessità dell’addestramento. Nonostante gli enormi investimenti, è possibile che si sia raggiunta una soglia oltre la quale un ulteriore aumento dei parametri non sia più sostenibile o vantaggioso rispetto ai costi. Anche se l’evoluzione dell’IA è ancora troppo rapida per trarre conclusioni definitive, appaiono evidenti i limiti fisici ed economici della crescita puramente quantitativa.

Negli ultimi anni, il miglioramento dei modelli linguistici non è più dipeso solo dalla crescita del numero di parametri, ma si è sviluppato lungo tre direttrici principali:

1. Multimodalità: i modelli sono stati potenziati per gestire testi, immagini, audio e video, diventando capaci di descrivere immagini (image-to-text), generare immagini (text-to-image), conversare a voce e percepire l’ambiente in tempo reale.
2. Interazione con strumenti esterni: i modelli sono diventati in grado di accedere a pagine web, eseguire codice e interagire con altri servizi online, evolvendosi in vere e proprie interfacce linguistiche all’interno di architetture ad “agenti intelligenti”, abilitate da protocolli come MCP.
3. Miglioramento dei metodi di addestramento: è cresciuta l’efficienza dell’addestramento grazie a tecniche più sofisticate (distillazione, ragionamento, rinforzo, selezione curata dei dati). Come nell’evoluzione culturale umana, i modelli stanno progredendo non aumentando la “massa cerebrale” (parametri), ma grazie a “insegnanti” e “materiali didattici” migliori, come dimostra il caso di OpenThinker, modello piccolo ma ben addestrato e altamente performante.

Ma quanto del comportamento dei Modelli di Linguaggio dipende dall’architettura (i Transformer e il numero di parametri), e quanto invece dal processo di addestramento?
Oggi, in una fase di rapido sviluppo dell’IA, le strategie di miglioramento sembrano puntare più su tecniche di addestramento sempre più raffinate e su dati selezionati con cura — che sulla struttura dei modelli. Resta da vedere se questo orientamento si consoliderà o se verrà superato da una nuova discontinuità tecnologica, come lo fu a suo tempo l’introduzione dei Transformer.