LLM for Dummies #4 — Training: Come Indovinare la Prossima Parola ti Compra una Mente

La serie finora ha costruito una macchina. I token diventano punti nello spazio, e una pila di blocchi attention e feed-forward trasforma un contesto in un punteggio per ogni possibile token successivo. Ma quella macchina, appena uscita dalla catena di montaggio, è piena di numeri casuali. Produce parole a caso.

Questa puntata riguarda il processo che trasforma ~10¹¹ numeri casuali in qualcosa che può scrivervi le email: il training. Avviso: è la parte col divario più grande tra quanto è semplice l'idea e quanto sono grandi le conseguenze.

L'Unico Gioco in Città

Ecco l'intero obiettivo del pretraining, senza omettere nulla: prendi del testo, nascondi cosa viene dopo, e chiedi al modello di indovinarlo.

FIG. 01 // IL CICLO

L'intera ricetta di un modello da $100M

ILLUSTRAZIONE: CICLO DI PRETRAINING AUTOREGRESSIVO

Pesca un frammento casuale di internet — diciamo "La capitale della Francia è" — e chiedi al modello i punteggi per il prossimo token. La verità era "Parigi". Il modello si è sorpreso? Quella sorpresa è un numero solo, la loss. Poi arriva l'unica parte ingegnosa: la sorpresa scorre all'indietro nella rete (backpropagation), e ognuno dei ~100 miliardi di pesi impara quale piccola spinta avrebbe reso la sorpresa più piccola. Spingili tutti, pesca un altro frammento, ripeti.

Ripeti, per la precisione, nell'ordine di dieci trilioni di volte.

Nessuno insegna la grammatica. Nessuno carica i fatti. Nessuno definisce cosa sia una domanda. C'è esattamente un'istruzione — sorprenditi di meno la prossima volta — e tutto il resto del comportamento di un language model ne è conseguenza.

Perché Indovinare Parole Richiede Sapere Cose

L'obiezione ovvia: predire parole sembra un gioco di società. Come fa a produrre qualcosa che sa debuggare codice?

Guardate cosa pretende davvero il gioco. Per predire bene il prossimo token, il modello è costretto ad acquisire qualunque cosa renda la predizione più economica:

• "La capitale della Francia è ___" — non si fa meglio del caso senza memorizzare il fatto.
• "Versò il caffè nella sua ___" — serve abbastanza fisica degli oggetti quotidiani da preferire "tazza" a "scarpa".
• "127 + 275 = ___" — i pattern non salvano per sempre; una procedura aritmetica predice meglio della memorizzazione.
• Quattro capitoli dentro un giallo, predire la prossima battuta del detective significa tracciare personaggi, moventi e cosa sa ciascuno — stato narrativo, non statistica delle parole.

Il principio generale, forse l'idea più profonda dell'intera serie: la predizione è compressione, e la compressione richiede comprensione. Un modello che predice bene internet è, per necessità matematica, un modello dei processi che hanno prodotto internet — inclusi la conoscenza umana, le convenzioni e il ragionamento che vi sono incorporati. "Sta solo predicendo la prossima parola" è come dire che uno studente "sta solo rispondendo alle domande d'esame": vero, e manca completamente ciò che devi diventare per farlo bene.

La Curva che Tutti Fissano

Mentre il gioco gira per mesi su decine di migliaia di GPU, chi lo paga guarda un grafico solo.

FIG. 02 // COSA COMPRANO $100M

La loss curve: la sorpresa scende, le capacità salgono

ILLUSTRAZIONE: LOSS DI PRETRAINING TIPICA (X IN SCALA LOG)

La sorpresa media per token, che scende. La sua forma è notevolmente regolare — così regolare che le scaling laws permettono ai lab di predire la loss finale di un run da $500M a partire da una manciata di run da $5M prima di impegnarsi (di più nel deep dive). Ma la curva liscia nasconde una realtà a grumi: ciò che il modello sa fare arriva per stadi approssimativi. Prima i pattern statistici economici — ortografia, grammatica, punteggiatura. La conoscenza del mondo si accumula nel mezzo. La roba costosa — restare coerenti su argomentazioni lunghe, ragionamento multi-passo — migliora per ultima e meno di tutto, perché è il modo più difficile rimasto per spremere la loss verso il basso.

FIG. 03 // ORDINI DI GRANDEZZA

Il pretraining in tre numeri

Token visti da un modello di frontiera in pretraining

~15T

≈ 200× tutto ciò che un umano legge in una vita

Conto di calcolo per un run di pretraining di frontiera

$100M+

mesi su decine di migliaia di GPU, in un colpo solo

Obiettivi usati per imparare tutto questo

1

predire il prossimo token — tutto il resto è emergente

VALORI TIPICI DI FRONTIERA · 2026

Cosa Ottieni: un Brillante Autocomplete Alieno

Spesi i soldi, hai un base model — ed è importante essere onesti su cosa sia. Chiedigli "Qual è la capitale della Francia?" e magari risponde "Parigi". Oppure continua: "Qual è la capitale della Germania? Qual è la capitale dell'Italia?" — perché i quiz su internet sono fatti esattamente così, e continuare il testo è l'unica cosa che gli sia mai stata chiesta.

Il base model ha la conoscenza ma non le maniere: nessuna nozione di essere un assistente, che una domanda meriti una risposta, che alcune continuazioni siano utili e altre dannose. È uno specchio della sua distribuzione di training — brillante, amorale, e puntato verso il nulla. Trasformare quel predittore grezzo in qualcosa che si comporta da collega è un processo separato, fatto con una quantità di dati comparativamente minuscola — ed è la puntata #5.

---

Deep Dive: l'Obiettivo, Formalmente

La parte "for dummies" finisce qui — sotto si assumono probabilità e un po' di dimestichezza col calcolo. Altrimenti ci vediamo alla puntata #5.

Cross-Entropy e il Significato di "Sorpresa"

Il modello definisce una distribuzione p_θ(t | contesto). Il training minimizza la negative log-likelihood sul corpus:

L(θ) = − E_{t₁…tₙ ∼ dati} [ (1/n) Σᵢ ln p_θ(tᵢ | t₁…tᵢ₋₁) ]

La "sorpresa" è precisamente −ln p del token vero: probabilità 1 → sorpresa 0; probabilità 0,01 → sorpresa alta. La perplexity è exp(L) — il branching factor effettivo, "il modello è incerto come se scegliesse uniformemente tra k token". E come visto nel deep dive della puntata 1, confrontare modelli con tokenizer diversi richiede la normalizzazione in bits per byte: bpb = (N_token / N_byte) · L / ln 2.

L'affermazione sulla compressione è esatta, non una metafora: la codifica aritmetica trasforma qualsiasi distribuzione predittiva in un compressore che spende −log₂ p(tᵢ) bit per token. La loss è la dimensione compressa. Un modello a 0,6 nats/token sull'inglese è un compressore da ~0,87 bit per carattere — meglio di qualsiasi algoritmo classico mai costruito.

L'Aggiornamento: SGD, Adam e Backprop in un Paragrafo

La backpropagation è differenziazione automatica in modalità inversa: un passaggio in avanti calcola la loss, uno all'indietro calcola ∂L/∂θ per ogni peso al costo di circa due passaggi in avanti — la contabilità del "chi ha contribuito quanto all'errore". Il gradiente grezzo è troppo rumoroso e mal scalato per usarlo direttamente, quindi il training di frontiera usa Adam(W): medie mobili per-parametro del gradiente (m) e del gradiente al quadrato (v), aggiornamento θ ← θ − η · m̂/(√v̂ + ε) — di fatto un learning rate per-peso che uniforma le dimensioni dei passi in una rete i cui gradienti spaziano ordini di grandezza. Aggiungete uno schedule warmup-poi-coseno, il gradient clipping e l'aritmetica in precisione mista (matmul in bf16, accumuli in fp32) e avete la ricetta moderna. Niente di tutto ciò è glamour; tutto decide se $100M convergono o divergono.

Scaling Laws: il Motivo per cui Qualcuno Ha Osato Spendere Tanto

La bomba empirica (Kaplan 2020, raffinata da Chinchilla 2022): la loss segue una legge di potenza nella dimensione del modello N e nei dati D,

L(N, D) ≈ E + A/N^α + B/D^β

con E l'"entropia irriducibile" del testo stesso. Due conseguenze. Primo, la prevedibilità: si possono stimare le costanti su run piccoli e prevedere la loss di un run di frontiera entro pochi punti percentuali — è ciò che rende i conti di training a nove cifre una scommessa calcolata e non un azzardo. Secondo, l'allocazione: per un budget di calcolo fisso C ≈ 6ND, l'ottimo sta vicino a N ∝ D — i famosi "~20 token per parametro" di Chinchilla. I modelli di frontiera moderni lo violano deliberatamente, addestrando ben oltre il compute-optimal (modelli classe Llama a 100-200+ token/parametro), perché un modello più piccolo addestrato più a lungo costa meno da servire — è l'economia dell'inferenza, non quella del training, a plasmare ormai la frontiera.

La postilla: la loss è liscia, ma le capacità downstream possono sembrare discontinue ("emergence"). In parte è comportamento reale simile a una transizione di fase (le induction head della puntata 3 compaiono bruscamente), in parte è artefatto delle metriche — il punteggio exact-match trasforma un miglioramento graduale in un salto improvviso. La sintesi onesta: la valuta (la loss) migliora secondo legge; i beni che compra (le capacità) arrivano a grumi.

I Dati Sono il Prodotto

A 15T di token, il corpus è gran parte dell'ingegneria. I crawl del web vengono deduplicati (MinHash/LSH — i duplicati sprecano calcolo e amplificano la memorizzazione), filtrati per qualità (classificatori addestrati a riconoscere testo "da manuale"), e miscelati per dominio con proporzioni calibrate a mano — il codice è fortemente sovrarappresentato rispetto al web perché migliora in modo misurabile i comportamenti adiacenti al ragionamento. La contaminazione dei benchmark — test set che colano nei dati di training — è l'imbarazzo cronico del campo e il motivo per fidarsi delle eval private più che delle classifiche pubbliche.

E dove finisce tutto questo? Ricordate l'anatomia della puntata 3: la maggior parte dei parametri vive nei blocchi feed-forward, che si comportano come memorie chiave-valore — pattern in ingresso, associazioni memorizzate in uscita. L'attention ha imparato a instradare; le FFN hanno imparato internet. La prossima puntata racconta come una dose comparativamente microscopica di training aggiuntivo — istruzioni e preferenze — punti l'intero apparato verso l'essere utile.

Prossima Tappa

Abbiamo una macchina che predice, e un processo di training che l'ha riempita di conoscenza. Quello che non abbiamo è un assistente: il base model completa il testo, non aiuta. La prossima volta: da autocomplete ad assistente — instruction tuning, RLHF, perché "as an AI language model" è diventato un meme, e cosa fa davvero un system prompt.

---

Roadmap della serie: tokenizzazione → embedding → attention → training (siete qui) → da autocomplete ad assistente → inferenza. Domande? Scrivetemi.