LLM e token: come una macchina scrive testi

È ora di dare un'occhiata sotto il cofano ai protagonisti di quest'era: i grandi modelli linguistici.

LLM: cosa significa ogni lettera

Large Language Model. «Language» — ha imparato dal testo: libri, articoli, siti web, codice (letteralmente una grossa fetta di internet). «Large» — centinaia di miliardi di pesi dalla lezione precedente. ChatGPT, Claude, Gemini, DeepSeek sono tutti LLM di diverse aziende, costruiti sullo stesso principio (lo stesso transformer del 2017).

L'unico trucco: indovinare il pezzo successivo

Tutto ciò che un LLM fa è prevedere il token successivo. Tu scrivi: «La capitale della Francia è ». Il modello scorre il suo vocabolario e assegna un punteggio alle possibili continuazioni: «Parigi» — 99%, «Lione» — 0,3%, «banana» — 0,0001%. Ne sceglie una probabile, la aggiunge al testo — e prevede il pezzo successivo. Ancora e ancora, parola per parola, e nasce un'intera risposta.

La risposta è elegante: per prevedere bene la parola successiva in qualsiasi testo scritto dall'umanità, il modello ha dovuto imparare la grammatica, i fatti, le catene di ragionamento, gli stili e la struttura del codice. Prevedere una parola si è rivelato un compito con una «comprensione» del linguaggio nascosta al suo interno. Questa è la grande scoperta dell'era degli LLM — e la grande fonte di discussioni sul fatto che un modello «capisca» davvero qualcosa.

Token: la valuta del mondo LLM

I pezzi con cui lavora un modello si chiamano token. Un token non è sempre una parola: una parola corta è un token, una lunga viene tagliata in pezzi, un segno di punteggiatura è un token a sé stante. In media 1 token ≈ 3–4 caratteri — ma questa regola vale solo per l'inglese. È utile sapere: in altre lingue, specialmente quelle che non usano l'alfabeto latino, i token sono più «costosi» — spesso solo 1–2 caratteri ciascuno.

Quindi lo stesso testo, significato per significato, consuma notevolmente più token al di fuori dell'inglese e raggiunge i limiti e la finestra di contesto prima. Suggerimento pratico: se lavori in un'altra lingua e stai contando costi o volumi, concediti un margine.

I token non sono un'astrazione — si manifestano nella pratica:

• La finestra di contesto — quanti token il modello tiene a mente contemporaneamente: la tua domanda, le sue risposte, i file che hai caricato. Tutto ciò che non rientra, il modello lo «dimentica». Ecco perché le conversazioni lunghe perdono l'inizio.
• Prezzo — quando colleghi un modello al tuo software (questo si chiama API), paghi per token. Costruire un bot o un'automazione significa contare i token.
• Limiti del piano — i limiti di «messaggi all'ora» sui piani gratuiti derivano anche dall'economia dei token.

Quanto è «grande» il grande?

Fatti un'idea della scala. Il set di addestramento di un LLM di punta ammonta a migliaia di miliardi di token: una persona che leggesse un libro al giorno impiegherebbe centinaia di migliaia di anni per elaborare così tanto. Ecco perché il modello «conosce» la fisica, le ricette di cucina e la sintassi di venti linguaggi di programmazione: ha elaborato statisticamente l'esperienza scritta di tutta l'umanità.

Ed ecco perché anche il peggio di internet è lì dentro — le aziende profondono enormi sforzi per filtrare i dati e perfezionare il comportamento (quel reinforcement learning basato su valutazioni umane della lezione precedente).

Generazione, non ricerca

Una conseguenza fondamentale: un LLM non cerca la risposta in un database — la genera prevedendo una continuazione probabile. Ecco perché può scrivere un sonetto sul tuo gatto, che non è mai esistito da nessuna parte su internet (creatività!). Ed è anche per questo che può scrivere con sicurezza qualcosa di falso, se la falsità «suona probabile» (questo è l'argomento dell'intera prossima lezione).

Sotto il cofano (opzionale): due fatti affascinanti

Quella che segue è un'analisi approfondita opzionale. Non cambierà nulla nella pratica: salta a «Fallo ora» se preferisci. Ma i fatti sono affascinanti — due nuove parole, due idee.

Emergenza. La proprietà più misteriosa dei grandi modelli: man mano che crescono, appaiono capacità che nessuno ha addestrato in essi. Il modello è stato addestrato a prevedere il testo — e improvvisamente può tradurre, risolvere enigmi logici, scrivere codice, spiegare barzellette. Queste capacità «dal nulla» sono chiamate emergenti. Dove l'effetto si ferma, gli scienziati discutono ancora — e questa è la grande questione aperta dei prossimi anni: tutti e tre gli ingredienti (dati, potenza, architettura) continuano a crescere.

Temperatura. Chiedi a un modello la stessa domanda due volte e le risposte saranno diverse. Non è un difetto: quando sceglie il token successivo, il modello non prende sempre quello più probabile — gli è permesso «correre un piccolo rischio» (l'impostazione si chiama letteralmente temperatura). Un pizzico di casualità mantiene il testo vivo invece di renderlo roboticamente identico. Suggerimento pratico: se non ti piace una risposta, a volte basta rigenerare. E «La capitale della Francia è Parigi» rimane salda come una roccia: una probabilità del 99% supera qualsiasi casualità.

Fallo ora

Esegui questo prompt qui, poi premi Esegui una seconda volta senza cambiare una parola:

Continua questa frase in cinque modi diversi:
La mattina è iniziata con…

Vedrai con i tuoi occhi la natura probabilistica della generazione: un modello, una richiesta identica — e diverse continuazioni probabili.