Corso di Reti Neurali per il Machine Learning: 3 Tecniche di miglioramento e regolarizzazione

Tecniche di miglioramento e regolarizzazione

1. Normalizzazione

Per rendere l’addestramento più stabile e veloce, si utilizzano tecniche di normalizzazione:

• Batch Norm: normalizza i valori di ciascun batch per evitare saturazioni nei neuroni
• Layer Norm: normalizza lungo le feature di ciascun layer, utile in RNN e Transformers

2. Tecniche di regolarizzazione

Servono a prevenire l’overfitting, cioè quando il modello impara troppo bene i dati di training ma fallisce sui dati nuovi:

• Dropout: disattiva casualmente neuroni durante l’addestramento
• Weight Decay: penalizza pesi troppo grandi per mantenere il modello semplice
• Data Augmentation: modifica i dati di input (rotazioni, traslazioni, rumore) per rendere il modello più robusto

3. Fine-tuning e Transfer Learning

Si parte da un modello già addestrato su un dataset grande e generale, e lo si adatta a un compito specifico. - Riduce i tempi di addestramento - Migliora le prestazioni su dataset piccoli o specifici

4. Hyperparameter Tuning

I parametri come learning rate, numero di layer o dimensione dei batch influiscono molto sulle prestazioni. Alcuni approcci per trovarli:

• Grid Search: prova sistematicamente tutte le combinazioni possibili
• Random Search: campiona casualmente nello spazio dei parametri
• Optuna: libreria avanzata per ottimizzazione automatizzata degli iperparametri

5. Lab pratico

Applicazione concreta: migliorare l’accuratezza di una CNN su CIFAR-10 utilizzando dropout e batch normalization. - Osservare come cambia la convergenza del modello - Valutare l’impatto sulla performance finale