SILICIO E NUVOLE

Tecniche di miglioramento e regolarizzazione 1. Normalizzazione Per rendere l’addestramento più stabile e veloce, si utilizzano tecniche di normalizzazione: Batch Norm: normalizza i valori di ciascun batch per evitare saturazioni nei neuroni Layer Norm: normalizza lungo le feature di ciascun layer, utile in RNN e Transformers 2. Tecniche di regolarizzazione Servono a prevenire l’overfitting, cioè quando il modello impara troppo bene i dati di training ma fallisce sui dati nuovi: Dropout: disattiva casualmente neuroni durante l’addestramento Weight Decay: penalizza pesi troppo grandi per mantenere il modello semplice Data Augmentation: modifica i dati di input (rotazioni, traslazioni, rumore) per rendere il modello più robusto 3. Fine-tuning e Transfer Learning Si parte da un modello già addestrato su un dataset grande e generale, e lo si adatta a un compito specifico. - Riduce i tempi di addestramento - Migliora le prestazioni su dataset pic...