Tecniche di miglioramento e regolarizzazione
1. Normalizzazione
Per rendere l’addestramento più stabile e veloce, si utilizzano tecniche di normalizzazione:
- Batch Norm: normalizza i valori di ciascun batch per evitare saturazioni nei neuroni
- Layer Norm: normalizza lungo le feature di ciascun layer, utile in RNN e Transformers
2. Tecniche di regolarizzazione
Servono a prevenire l’overfitting, cioè quando il modello impara troppo bene i dati di training ma fallisce sui dati nuovi:
- Dropout: disattiva casualmente neuroni durante l’addestramento
- Weight Decay: penalizza pesi troppo grandi per mantenere il modello semplice
- Data Augmentation: modifica i dati di input (rotazioni, traslazioni, rumore) per rendere il modello più robusto
3. Fine-tuning e Transfer Learning
Si parte da un modello già addestrato su un dataset grande e generale, e lo si adatta a un compito specifico. - Riduce i tempi di addestramento - Migliora le prestazioni su dataset piccoli o specifici
4. Hyperparameter Tuning
I parametri come learning rate, numero di layer o dimensione dei batch influiscono molto sulle prestazioni. Alcuni approcci per trovarli:
- Grid Search: prova sistematicamente tutte le combinazioni possibili
- Random Search: campiona casualmente nello spazio dei parametri
- Optuna: libreria avanzata per ottimizzazione automatizzata degli iperparametri
5. Lab pratico
Applicazione concreta: migliorare l’accuratezza di una CNN su CIFAR-10 utilizzando dropout e batch normalization. - Osservare come cambia la convergenza del modello - Valutare l’impatto sulla performance finale
Nessun commento:
Posta un commento