Introduzione

🧠 Come Addestrare il Tuo GPT

Una guida per costruire un modello di linguaggio all'avanguardia partendo da zero. Spiegato come se avessi cinque anni. Costruito come un ingegnere.

Questa guida è stata creata con l'obiettivo di imparare ciò che non era completamente chiaro, specificamente la parte dell'attenzione. Uso l'AI frequentemente per comprendere concetti chiave e verificarli.

---

📖 Cos'è Questo?

Si tratta di un libro interattivo di oltre 12 capitoli e 7.500 righe che insegna come costruire, addestrare e far funzionare un moderno modello di linguaggio da zero. La medesima famiglia di architetture dietro ChatGPT, Claude, LLaMA e Mistral.

Sono inclusi 18 approfondimenti standalone che spiegano ogni tecnica in dettaglio: RoPE, attention, RMSNorm, SwiGLU, KV cache, AdamW, mixed precision e altro ancora. Inoltre, ci sono due racconti narrativi che seguono passo passo una singola frase attraverso l'intero modello. Ogni file segue uno stile semplice, senza gergo, con esempi di codice eseguibili.

Non leggerai solo dei Transformers, ma scriverai ogni singola riga: tokenizer, embeddings, attenzione, ciclo di training, motore di inferenza. Ogni riga commentata per spiegare cosa fa e perché.

---

🤔 Perché Esiste

Molti tutorial ML cadono in due errori:

Obiettivo: dopo averla completata conoscerai ed comprenderai perché l'attenzione funziona, come RoPE codifica posizioni relative, perché pre-norm è meglio di post-norm, e il flusso completo dei gradienti.

---

👥 A Chi È Rivolta

Prerequisiti: basi di Python (variabili, funzioni, classi, pip). No calcolo, no algebra lineare, no PyTorch richiesti (si impara passo passo).

---

🗺️ Capitoli

Inizia sempre da Capitolo 0 e procedi in ordine.

---

🏗️ Cosa Costruirai

Il cuore del modello è ~860 righe, spiegazioni e diagrammi circa 2.600 righe.

---

🏛️ Architettura

Questa guida implementa il decoder-only Transformer più recente e noto pubblicamente:

GPT-4 e Claude sono proprietari; qui si insegna l'architettura pubblica migliore di LLaMA 3, Mistral e Qwen 2.5.

---

🚀 Avvio Veloce

# 1. Clona

git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
cd how-to-train-your-gpt

# 2. Crea ambiente

python -m venv gpt_env
source gpt_env/bin/activate  # Mac/Linux
# gpt_env\Scripts\activate   # Windows

# 3. Installa dipendenze (CPU)

pip install torch tiktoken datasets numpy matplotlib --index-url https://download.pytorch.org/whl/cpu

# 4. Verifica GPU (opzionale ma consigliato)

python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

# 5. Inizia a leggere!

open chapters/00_overview.md

Per avviare il training:

python main.py

La configurazione di default è un modello piccolo (d_model=256, 4 layer). L'addestramento richiede pochi minuti su CPU. Per un modello grande stile GPT-2 (151M parametri, 12 layer), modificare il config in main.py e abilitare la configurazione grande. Serve GPU.

---

📓 Notebook Jupyter

Ogni capitolo ha un notebook con codice eseguibile senza spiegazioni, per vedere in tempo reale cosa succede.

pip install jupyter tiktoken torch numpy datasets matplotlib --index-url https://download.pytorch.org/whl/cpu
jupyter notebook notebooks/02_tokenization.ipynb

I notebook risiedono nella cartella notebooks/. Apri uno e usa Cell → Run All.

---

📚 Approfondimenti Tematici

Ogni concetto ha un approfondimento nel folder explanations and examples WIP/, scritto con linguaggio semplice e esempi eseguibili.

---

📖 Come Leggere

Ogni capitolo segue 4 passi:

Se ti perdi nel codice, torna all’analogia. Se la matematica confonde, vai all'esempio.

---

✨ Cosa Rende Questa Diversa

---

🎯 Competenze Acquisite

• Spiegherai come GPT-4 tokenizza con BPE
• Capirai perché RoPE, RMSNorm e SwiGLU sono innovativi
• Calcolerai l’attenzione per una frase con 3 token
• Debuggerai loop di training Transformer
• Sceglierai parametri di sampling adattivi
• Capirai l’importanza della cache KV per inferenza
• Leggerai paper ML moderni con confidenza

---

🔮 Passi Successivi Dopo Aver Finito