1 Fondamenti Teorici del Prompt Engineering
Durata: 2h
Obiettivo: Comprendere le basi concettuali che guidano il funzionamento dei modelli generativi per interagire in modo consapevole, strategico e replicabile.
🧠 1. Architettura e comportamento dei modelli generativi
▶️ Transformer Architecture
Tutti i LLM (Large Language Models) si basano sull’architettura Transformer, introdotta nel paper "Attention Is All You Need". Questa struttura utilizza:
- Encoder-decoder (traduzione, sintesi)
- Solo decoder (GPT, Claude, LLaMa): genera testo predicendo il token successivo in una sequenza.
▶️ Modelli principali a confronto
| Modello |
Architettura |
Punto di forza |
Contesto max |
| GPT-3.5 |
Decoder-only |
Risposte rapide, buona sintesi |
~4K token |
| GPT-4 |
Decoder-only |
Precisione, logica, stile narrativo |
fino a 128K token |
| Claude 3.5 |
Mixture of Experts |
Comprensione contestuale elevata, analisi documentale |
fino a 200K token |
| Mistral |
Decoder-only open source |
Adatto per local deployment |
fino a 32K token |
📌 Esempio comparativo:
Prompt: "Spiega in tre righe il concetto di entropia per studenti di liceo."
- GPT-3.5: Risposta semplice, talvolta generica.
- GPT-4: Sintesi chiara + esempio.
- Claude 3.5: Definizione + analogia quotidiana (es. "una stanza che si disordina da sola").
🌡️ 2. Parametri fondamentali del comportamento del modello
🔥 Temperature
Controlla il grado di casualità:
- Bassa (0.1–0.3): risposte più logiche, prevedibili.
- Alta (0.7–1.0): più creative, variabili.
🧪 Esempio:
Prompt: “Completa: Il tempo è...”
- Temp 0.2: “una dimensione che misura il cambiamento”
- Temp 0.9: “un fiume invisibile che ci trasporta verso l’ignoto”
🎲 Top-p (nucleus sampling)
Invece di scegliere tra tutte le parole possibili, si limita la scelta al "nucleo" delle opzioni più probabili (es. 90%).
🧮 Tokenizzazione
Un token è un’unità di linguaggio (una parola, parte di parola o simbolo).
Esempio: la frase "Prompt Engineering è una competenza emergente" può essere tokenizzata in ~8-12 token.
📌 Limiti di token determinano la finestra contestuale: GPT-3.5 (4K), GPT-4 (8K–128K), Claude 3.5 (200K).
⚠️ 3. Bias, allucinazioni e overfitting contestuale
🧠 Bias
I modelli apprendono dai dati. Se i dati sono sbilanciati (per genere, etnia, lingua, cultura), anche le risposte lo saranno.
🧪 Esempio:
Prompt: “Scrivi una fiaba con protagonista un ingegnere”
- Tendenza a usare “lui” come pronome predefinito → Bias di genere
🧠 Allucinazioni
Generazione di contenuti falsi con tono sicuro.
- Esempio: citazioni inventate, riferimenti bibliografici inesistenti.
💡 Prevenzione:
- Prompt specifici (“solo se verificato”)
- Controllo incrociato umano
🔁 Overfitting contestuale
Succede quando il modello inizia a imitare troppo il contesto precedente, perdendo varietà.
🧪 Esempio:
In una lunga conversazione su Kant, ogni risposta inizia con “Secondo Kant…”
🧪 4. Modalità di prompting: Zero-shot, Few-shot, Chain-of-Thought
⚫ Zero-shot prompting
Il modello agisce senza esempi.
Prompt: “Scrivi un invito formale per una mostra fotografica.”
📌 Utile per task semplici.
Rischio: interpretazioni vaghe.
🔵 Few-shot prompting
Si forniscono 1-3 esempi per “istruire” il modello sul formato atteso.
Prompt:
“Esempio 1:…”
“Esempio 2:…”
“Ora scrivi il tuo:…”
📌 Ottimo per coerenza stilistica o quando si vogliono riprodurre pattern specifici (formati, rubriche, headline…).
🔁 Chain-of-Thought prompting
Si guida il modello passo passo, chiedendogli di “pensare ad alta voce”.
Prompt:
“Risolvi questo problema di logica e spiega ogni passaggio…”
📌 Utile per compiti complessi: matematica, logica, scelte argomentative.
Migliora la trasparenza del ragionamento.
🔬 ATTIVITÀ: Analisi comparativa GPT-3.5, GPT-4, Claude 3.5
✏️ Prompt:
“Spiega perché la luce si comporta sia come onda che come particella, in 4 frasi chiare per studenti liceali.”
| Modello |
Output |
Note |
| GPT-3.5 |
Buona spiegazione, ma poco approfondita |
✔️ |
| GPT-4 |
Ottima chiarezza + metafora intuitiva |
🌟 |
| Claude 3.5 |
Precisa, con linguaggio accessibile e analogia |
🌟 |
🔍 Analizza lessico, logica espositiva, coerenza concettuale.
📈 Valuta quale modello produce contenuti didattici più adatti al tuo target.
🧭 Conclusione del modulo
✔ Hai esplorato come “parla” l’AI, quali sono le sue variabili di comportamento, come si può guidarla con maggiore efficacia.
Nel prossimo modulo, costruiremo prompt strategici e multilivello sfruttando questi fondamenti.
Commenti
Posta un commento