Corso di Reti Neurali per il Machine Learning: Reti ricorrenti e sequenziali (RNN, LSTM, GRU)

Reti ricorrenti e sequenziali (RNN, LSTM, GRU)

1. Modelli per dati sequenziali

Le reti ricorrenti sono progettate per gestire dati che hanno un ordine o una sequenza temporale:

• Serie temporali: previsioni su dati che cambiano nel tempo (es. mercato finanziario, sensori)
• Testi e linguaggio: elaborazione di frasi, traduzione automatica, analisi del sentiment

2. Problemi e architetture avanzate

Reti RNN tradizionali soffrono del problema del vanishing gradient, che rende difficile apprendere dipendenze a lungo termine. Soluzioni:

• LSTM: Long Short-Term Memory, gestisce efficacemente dipendenze lunghe
• GRU: Gated Recurrent Unit, versione semplificata ed efficiente di LSTM

3. Applicazioni in NLP

• Traduzione automatica: convertire testi da una lingua all’altra
• Analisi del sentiment: capire emozioni e opinioni nei testi
• Previsione di sequenze: completamento automatico di frasi o serie temporali

4. Introduzione alle attention mechanism

Le attention mechanism permettono al modello di concentrarsi su parti rilevanti della sequenza, migliorando performance in traduzione, riassunto automatico e NLP avanzato.

5. Lab pratico

• Previsione di testo su dataset di esempio
• Sentiment analysis su recensioni o commenti
• Osservazione dell’impatto di LSTM e GRU sulle prestazioni rispetto a RNN classiche