LLM for Dummies #5 — Da Autocomplete ad Assistente: la Persona È Appresa

La puntata 4 si è chiusa con una delusione onesta. Dopo $100M e dieci trilioni di token indovinati ottieni un base model: un'entità che sa una quantità sbalorditiva di cose e non ha idea di dover aiutare. Fagli una domanda e magari risponde, oppure continua con altre tre domande, perché è ciò che di solito segue le domande su internet.

Il divario tra quello e l'assistente con cui parlate davvero lo colma il post-training. È lo stadio meno costoso della pipeline, il più opinionato, e quello che decide quasi tutto ciò che percepite di un modello: il tono, i rifiuti, la sicurezza, l'adulazione.

Due Stadi, un Villaggio

FIG. 01 // TRE STADI

Da dove viene la conoscenza, e da dove vengono le maniere

Lo stadio 1 è un continente; gli stadi 2 e 3 un villaggio. Quasi tutta la capacità si compra nel pretraining. Il post-training spende un errore di arrotondamento di calcolo per scegliere quale, tra le tante persone possibili del modello, risponde al telefono.

ILLUSTRAZIONE: PIPELINE DI TRAINING DI FRONTIERA TIPICA · 2026

Le proporzioni di quella figura sono la cosa più utile da ricordare di questa puntata. Il pretraining è un continente: mesi, decine di migliaia di GPU, ~99% del calcolo. Il post-training è un villaggio: giorni, e dataset abbastanza piccoli che un'azienda potrebbe leggerli. Eppure il villaggio decide la personalità.

Perché bastano così pochi dati? Perché il post-training non aggiunge capacità — ne seleziona una. Il base model sa già scrivere come un avvocato, un troll di Reddit, un manuale, un esperto disponibile, uno spam bot: li ha assorbiti tutti. Il compito del post-training è rendere una di quelle voci quella predefinita e tenercela. Nel mestiere si chiama superficial alignment hypothesis: conoscenza e competenze vengono dallo stadio 1; gli stadi 2 e 3 insegnano da quale sottodistribuzione di quella conoscenza parlare.

Stadio 2: Mostragli Com'è Fatto "Utile"

L'instruction tuning (o SFT, supervised fine-tuning) è quasi imbarazzante per quanto è letterale. Degli umani — e sempre più spesso modelli più forti — scrivono migliaia di conversazioni d'esempio: una domanda, seguita dal tipo di risposta che darebbe un esperto competente ed educato. Poi si esegue esattamente lo stesso ciclo di training della puntata 4: predici il prossimo token, misura la sorpresa, aggiusta. L'unica differenza sono i dati.

Dopo qualche migliaio di questi, il modello ha imparato il formato: che dopo che l'utente parla, l'assistente risponde; che le risposte sono strutturate, complete e si fermano quando hanno finito; che il codice va nei blocchi di codice. Ha imparato a recitare un personaggio.

FIG. 02 // COS'È DAVVERO UNA 'CHAT'

La conversazione come la vede il modello: una stringa lunga con marcatori

SystemUtenteAssistente

IL MODELLO CONTINUA SEMPLICEMENTE IL TESTO DOPO <|assistant|>. L'"ASSISTENTE" È UN PERSONAGGIO CHE HA IMPARATO A RECITARE.

Non esiste una 'modalità chat' separata. I marcatori di ruolo sono token speciali aggiunti al vocabolario; l'instruction tuning insegna al modello che dopo il marcatore dell'assistente viene testo utile e dopo il marcatore di fine si ferma. Il vostro system prompt è semplicemente il primo paragrafo del documento.

ILLUSTRAZIONE: CHAT TEMPLATE (I NOMI DEI MARCATORI VARIANO PER MODELLO)

Quella figura è la parte che quasi nessuno vede. La "chat" non è una modalità diversa del modello. Una conversazione è un documento unico con marcatori di ruolo — token speciali aggiunti al vocabolario — e il modello fa quello che fa sempre: continua il testo dopo l'ultimo marcatore. Il vostro system prompt è il primo paragrafo di quel documento. L'"identità" dell'assistente è ciò che i dati di SFT hanno reso statisticamente probabile dopo <|assistant|>. Ecco perché un system prompt può rinominare l'assistente, cambiargli personalità, o fargli rispondere in dialetto piratesco: state modificando l'incipit della storia che sta continuando.

Stadio 3: Insegnagli il Gusto

L'SFT ha un limite: gli umani sono molto più bravi a riconoscere una buona risposta che a scrivere quella ideale. Quindi il terzo stadio smette di chiedere alle persone di scrivere e inizia a chiedere loro di confrontare. Mostra due risposte candidate, A e B. Qual è migliore? Raccogli centinaia di migliaia di questi giudizi, addestra un piccolo modello (il reward model) a predire la preferenza umana, poi spingi l'assistente verso le risposte che il reward model premia — tenendolo legato a dove è partito, così che non derivi verso un nonsense che per caso inganna il giudice.

Questo è l'RLHF — reinforcement learning from human feedback — e il suo cugino più recente e semplice, il DPO, che salta il reward model separato. È qui che vive il tono: concisione contro completezza, quando coprirsi, quando rifiutare, quanto essere contriti. Ogni "As an AI language model, I cannot…" che avete letto era una preferenza espressa da qualcuno, generalizzata da un reward model e bruciata nei pesi.

Ha anche una modalità di fallimento famosa. Se i valutatori umani preferiscono anche solo leggermente le risposte che danno loro ragione, il reward model impara che l'adulazione paga — e l'assistente diventa sicofante, dicendovi che il vostro pessimo piano è ottimo. Ottimizzare per l'approvazione non è ottimizzare per la verità, e nessuna quantità di RLHF fa la distinzione al posto vostro.

FIG. 03 // ORDINI DI GRANDEZZA

Il post-training in tre numeri

Quota del calcolo totale di training spesa nel post-training

<1%

le maniere costano poco; la mente costava tanto

L'unità dei dati di preferenza

A vs B

gli umani non scrivono la risposta ideale, scelgono la migliore tra due

Fatti nuovi che il modello impara nel post-training

≈ 0

la conoscenza viene dallo stadio 1; gli stadi 2-3 plasmano il comportamento

L'ultima tile spiega molto del comportamento dei prodotti: non si può 'infilare via RLHF' conoscenza che il base model non ha, e non si può 'togliere via RLHF' del tutto quella che ha — i rifiuti sono uno stile appreso appoggiato sopra un base model intatto.

VALORI TIPICI DI FRONTIERA · 2026

Cosa il Post-Training Non Può Fare

Tre cose seguono da "seleziona, non aggiunge", e spiegano molte frustrazioni quotidiane:

Non può installare conoscenza. Fare fine-tuning sui documenti della vostra azienda insegna lo stile dei vostri documenti molto più affidabilmente dei loro fatti. Per i fatti serve il retrieval — passare il testo al modello al momento dell'inferenza — ed è per questo che esiste il RAG.
Non può nemmeno rimuovere del tutto la conoscenza. I rifiuti sono un riflesso appreso sopra un base model intatto. Un prompt che fa sembrare la continuazione dannosa un genere diverso (un racconto, un gioco di ruolo, un "ipotetico") scivola attorno al riflesso. I jailbreak non sono bug del layer di sicurezza; sono il layer di sicurezza che funziona esattamente quanto è superficiale.
Non può far sapere al modello cosa non sa. Il post-training premia risposte sicure e ben formate. Non insegna — non può — al modello quali dei suoi output siano veri. L'allucinazione sopravvive intatta al post-training, il che ci porta all'ultima puntata: cosa succede in inferenza, quando il modello deve finalmente scegliere una parola.

Deep Dive: gli Obiettivi, Formalmente

La parte "for dummies" finisce qui — sotto si assumono probabilità e un po' di ottimizzazione. Altrimenti ci vediamo alla puntata #6.

L'SFT È Solo Cross-Entropy Mascherata

L'instruction tuning usa la stessa loss del pretraining, con un cambiamento: la loss si calcola solo sui token dell'assistente. I token di utente e system stanno nel contesto ma sono mascherati fuori dall'obiettivo — il modello deve imparare a produrre risposte, non a imitare domande. Formalmente, con m_i = 1 sulle posizioni dell'assistente:

L_SFT(θ) = − Σᵢ m_i · ln p_θ(tᵢ | t₁…tᵢ₋₁)

I chat template rendono la cosa concreta: i marcatori di ruolo sono ID di token riservati, e il marcatore di fine turno è ciò che il modello impara a emettere quando ha finito — il comportamento "fine della risposta" è letteralmente un'altra predizione del prossimo token. Il risultato LIMA (2023) ha mostrato che ~1.000 esempi curati con attenzione bastano a produrre un assistente competente da un base model forte, ed è la spina dorsale empirica della tesi del superficial alignment.

Reward Modeling: Bradley-Terry sui Confronti

I dati di preferenza sono coppie (x, y_w, y_l) — prompt, risposta vincente, risposta perdente. Un reward model r_φ(x, y) viene addestrato perché la probabilità della preferenza osservata segua un modello di Bradley-Terry:

P(y_w ≻ y_l | x) = σ( r_φ(x, y_w) − r_φ(x, y_l) )
L_RM(φ) = − E [ ln σ( r_φ(x, y_w) − r_φ(x, y_l) ) ]

Sono identificate solo le differenze di reward — la scala è arbitraria — ed è uno dei motivi per cui i reward model sono mal calibrati tra prompt diversi e facili da sfruttare.

RLHF: Massimizza il Reward, Resta Vicino a Casa

La policy π_θ (l'assistente) viene poi ottimizzata per massimizzare il reward atteso con una penalità KL rispetto al riferimento SFT π_ref:

J(θ) = E_{x, y∼π_θ} [ r_φ(x, y) ] − β · KL( π_θ(·|x) ‖ π_ref(·|x) )

Il termine KL è tutta la partita. Senza, la policy trova i punti ciechi del reward model (la legge di Goodhart nella sua forma più pura): risposte che ottengono punteggi alti e non significano nulla. Con, la policy resta in una trust region attorno a un modello che scrive già testo sensato. In pratica si ottimizza con PPO, e β scambia guadagni di utilità contro la "alignment tax" — il degrado misurabile di alcune capacità che un post-training pesante può causare.

DPO: la Stessa Cosa Senza il Reward Model

Un risultato chiave del 2023: l'obiettivo RLHF qui sopra ha una policy ottima in forma chiusa, π*(y|x) ∝ π_ref(y|x) · exp(r(x,y)/β). La si inverte per esprimere il reward in termini di policy, si sostituisce nella loss di Bradley-Terry, e il reward model sparisce:

L_DPO(θ) = − E [ ln σ( β · ln π_θ(y_w|x)/π_ref(y_w|x) − β · ln π_θ(y_l|x)/π_ref(y_l|x) ) ]

Una sola loss supervisionata sulle coppie di preferenza, niente ciclo RL, niente rete di reward separata — stesso ottimo in teoria. La maggior parte degli assistenti open-weight dal 2024 è addestrata con DPO o sue varianti; i lab di frontiera tipicamente mescolano RL on-policy (stile PPO/GRPO, sempre più con reward verificabili da esecuzione di codice o verificatori matematici) con i metodi a preferenze.

Perché Sicofanzia e Mode Collapse Sono Prevedibili

Due conseguenze strutturali dell'ottimizzare contro un giudice appreso. Primo, la sicofanzia: se i giudizi dei valutatori correlano anche solo lievemente con l'accordo, r_φ eredita quella correlazione e la policy la amplifica — non è un bug del training ma l'obiettivo eseguito fedelmente. Secondo, il collasso dell'entropia: la massimizzazione del reward concentra la massa di probabilità sui modi ad alto punteggio, quindi i modelli post-addestrati sono meno diversi e più ripetitivi dei loro base model (visibile come distribuzioni di campionamento più strette e lo stile di casa che tutti riconoscono). RLAIF e Constitutional AI sostituiscono parte dei giudizi umani con giudizi del modello rispetto a un insieme scritto di principi — più economico e coerente, con l'ovvio rischio di circolarità.

Il Layer di Allineamento È Sottile, Misurabilmente

Il lavoro di interpretabilità localizza il comportamento di rifiuto in un piccolo numero di direzioni nel residual stream (ricordate la geometria della puntata 2): ablate una singola "direzione del rifiuto" e un modello safety-tuned acconsente a tutto, con il resto delle capacità intatte. È il volto meccanicistico di "seleziona, non aggiunge": l'intera distribuzione del base model è ancora lì dentro, a un vettore di distanza. Ed è anche il motivo per cui i ricercatori di allineamento tengono tanto a ciò che accade prima del post-training.

Prossima Tappa

Ora abbiamo l'assistente completo: conoscenza dal pretraining, maniere dal post-training. Resta una cosa — il momento della verità in cui il modello ha una distribuzione di probabilità su 100.000 token e deve sceglierne uno. Prossima e ultima puntata: l'inferenza — temperatura, sampling, perché la stessa domanda ottiene risposte diverse, perché i modelli allucinano con la faccia seria, e cosa fanno davvero di diverso i "reasoning model".

Roadmap della serie: tokenizzazione → embedding → attention → training → da autocomplete ad assistente (siete qui) → inferenza. Domande? Scrivetemi.