Context engineering

Immagine
  Negli ultimi mesi, chi lavora con i modelli linguistici ha iniziato a notare uno spostamento sottile ma significativo: il problema non è più cosa scrivere nel prompt , ma cosa mettere nel contesto . È la differenza tra dare un'istruzione ben formulata e costruire l'intero ambiente informativo in cui un modello deve operare — memoria, strumenti, cronologia, vincoli, stato del sistema. Si parla ormai apertamente di context engineering come disciplina distinta dal prompt engineering, e la distinzione non è solo terminologica. 🔹 1. Il prompt come istruzione, il contesto come ambiente Un prompt ben scritto ottimizza una singola interazione. Il contesto, invece, è tutto ciò che il modello "vede" prima di rispondere: documenti recuperati, risultati di strumenti, conversazioni pregresse, regole di sistema, persino la cronologia di errori già commessi in quella sessione. Con l'adozione crescente di agenti che lavorano su compiti lunghi — scrivere codice, orchestrare...

Corso di Prompt Engineering: 6 Ottimizzazione iterativa e metriche


6 Ottimizzazione iterativa e metriche

1. Prompt tuning vs Prompt Engineering

Il cuore di questo modulo è capire la differenza tra prompt tuning e prompt engineering. - Prompt Engineering: progettazione strategica del prompt per ottenere risposte precise e coerenti dal modello AI. - Prompt Tuning: raffinamento iterativo del prompt attraverso prove, modifiche e ottimizzazione per massimizzare l’efficacia.

2. Chain-of-Validation e Prompt Evaluation

Per garantire che un modello risponda correttamente, si usano procedure sistematiche di controllo: - Chain-of-Validation: concatenazione di controlli intermedi per verificare ogni fase della risposta. - Prompt Evaluation: valutazione della qualità della risposta generata secondo criteri predefiniti, come accuratezza e completezza.

3. Definizione di KPI qualitativi

Non basta far funzionare un prompt: serve misurare la qualità. Alcuni KPI fondamentali includono:

  • Accuratezza: quanto la risposta corrisponde al dato o alla conoscenza richiesta
  • Rilevanza: pertinenza della risposta rispetto al contesto del prompt
  • Stilistica: correttezza e coerenza nel tono, formato e registro linguistico

4. Prompt benchmarking e testing automatizzato

Una volta definiti i KPI, si procede al test:

  • Benchmarking: confronto dei prompt con set di test standardizzati per valutare le prestazioni
  • Testing automatizzato: strumenti e pipeline per valutare in massa la qualità dei prompt

5. Tool di riferimento

Alcuni strumenti utili per il lavoro pratico:

  • LangChain: framework per la gestione e concatenazione di prompt
  • Promptfoo: testing e benchmarking di prompt
  • TypoGen: generazione e test di varianti di prompt
  • RAG Test Kit: strumenti per valutazione di risposte basate su retrieval-augmented generation


Commenti

Post popolari in questo blog

Corso di Programmazione Strutturata e OOP: 3 Ereditarietà incapsulamento polimorfismo

Corso di CSS & Web Design: 3 – Box Model e spaziature

Corso di CSS & Web Design: 7 – Responsive Design