SILICIO E NUVOLE

Verso le architetture Transformer Le architetture Transformer hanno rivoluzionato il campo dell’intelligenza artificiale, in particolare l’elaborazione del linguaggio naturale (NLP), ma anche la visione artificiale e la multimodalità. La loro forza risiede nella capacità di catturare relazioni a lungo raggio in sequenze di dati, superando i limiti delle reti ricorrenti (RNN, LSTM, GRU) e delle convoluzionali (CNN) in compiti linguistici e sequenziali. 1. Meccanismo di attenzione Self-Attention : ogni parola di una frase “guarda” tutte le altre parole, attribuendo un peso (attenzione) diverso a seconda della loro rilevanza. Questo permette al modello di gestire contesti lunghi senza degradazione di memoria come accadeva nelle RNN. Multi-Head Attention : più “teste” di attenzione lavorano in parallelo, ognuna catturando relazioni semantiche diverse (per esempio, una testa può cogliere concordanze grammaticali, un’altra la semantica tra soggetto e verbo). Scalabilità : il calc...

Reti ricorrenti e sequenziali (RNN, LSTM, GRU) 1. Modelli per dati sequenziali Le reti ricorrenti sono progettate per gestire dati che hanno un ordine o una sequenza temporale: Serie temporali: previsioni su dati che cambiano nel tempo (es. mercato finanziario, sensori) Testi e linguaggio: elaborazione di frasi, traduzione automatica, analisi del sentiment 2. Problemi e architetture avanzate Reti RNN tradizionali soffrono del problema del vanishing gradient , che rende difficile apprendere dipendenze a lungo termine. Soluzioni: LSTM: Long Short-Term Memory, gestisce efficacemente dipendenze lunghe GRU: Gated Recurrent Unit, versione semplificata ed efficiente di LSTM 3. Applicazioni in NLP Traduzione automatica : convertire testi da una lingua all’altra Analisi del sentiment : capire emozioni e opinioni nei testi Previsione di sequenze : completamento automatico di frasi o serie temporali 4. Introduzione alle attention mechanism Le...

Reti neurali convoluzionali (CNN) 1. Visione artificiale e architetture CNN Le CNN sono alla base della visione artificiale, permettendo al modello di “vedere” e interpretare immagini. Concetti chiave: Convoluzione: filtri che estraggono caratteristiche locali dall’immagine Pooling: riduce le dimensioni mantenendo le informazioni principali (max pooling, average pooling) Architetture famose: LeNet, VGG, ResNet 2. Interpretazione e visualizzazione dei filtri Visualizzare i filtri e le mappe di attivazione aiuta a capire cosa impara la rete: - Individuare pattern e feature rilevanti - Diagnostica del modello in caso di errori 3. Compiti principali delle CNN Classificazione: assegnare etichette a intere immagini Segmentazione: identificare ogni pixel con la sua categoria Object Detection: localizzare oggetti e classificarli all’interno dell’immagine 4. Lab pratico Applicazione concreta: Riconoscimento di immagini su dataset MNIST ...

Tecniche di miglioramento e regolarizzazione 1. Normalizzazione Per rendere l’addestramento più stabile e veloce, si utilizzano tecniche di normalizzazione: Batch Norm: normalizza i valori di ciascun batch per evitare saturazioni nei neuroni Layer Norm: normalizza lungo le feature di ciascun layer, utile in RNN e Transformers 2. Tecniche di regolarizzazione Servono a prevenire l’overfitting, cioè quando il modello impara troppo bene i dati di training ma fallisce sui dati nuovi: Dropout: disattiva casualmente neuroni durante l’addestramento Weight Decay: penalizza pesi troppo grandi per mantenere il modello semplice Data Augmentation: modifica i dati di input (rotazioni, traslazioni, rumore) per rendere il modello più robusto 3. Fine-tuning e Transfer Learning Si parte da un modello già addestrato su un dataset grande e generale, e lo si adatta a un compito specifico. - Riduce i tempi di addestramento - Migliora le prestazioni su dataset pic...

Meccanismi di apprendimento   Contenuti del modulo 1. 🧠 Apprendimento supervisionato e funzione obiettivo L’apprendimento supervisionato consiste nell’addestrare un modello utilizzando dati etichettati , cioè coppie input-output noti. Il modello cerca di imparare una funzione . 📌 Funzione di perdita (loss function): Misura quanto è sbagliata la previsione del modello rispetto all’output reale. Alcuni esempi: MSE (Mean Squared Error) per regressione Cross-Entropy per classificazione Hinge loss per SVM 🧮 L’obiettivo dell’addestramento è minimizzare la funzione di perdita su tutti i dati del training set. 2. 🔄 Backpropagation: il cuore dell’apprendimento L’ algoritmo di backpropagation è il metodo con cui una rete neurale aggiorna i suoi pesi . Si compone di due fasi: Forward pass: calcolo dell’output e della loss Backward pass: calcolo del gradiente della loss rispetto a ogni peso usando la regola della catena 🧠 È un'applicazione diretta del calcolo diffe...

Architettura delle Reti Neurali 🧠 1. Il Neurone Artificiale e le Funzioni di Attivazione Il neurone artificiale riceve input ( x ), li moltiplica per pesi ( w ), aggiunge un bias ( b ) e applica una funzione di attivazione : y = f(∑(xᵢ * wᵢ) + b) Funzioni di attivazione comuni: 🔹 ReLU → f(x) = max(0,x) 🔹 Sigmoide → Classificazione binaria 🔹 Tanh → Utilizzata in RNN 🔹 Softmax → Classificazione multiclasse 🏗️ 2. Architettura a Strati e Tipi di Reti Ogni rete è composta da uno strato di input, uno o più strati nascosti e uno strato di output. Tipi principali: 🧱 Perceptron – rete semplice, un solo strato 🧠 MLP – rete profonda con più strati 🖼️ CNN – per immagini (strati convoluzionali) 🎵 RNN – per testi, audio e sequenze 🌐 Transformer – per NLP e LLM (es. GPT) ⚙️ 3. Pesi, Bias e Grafo Computazionale ⚖️ Pesi: numeri appresi dal modello ➕ Bias: costanti per i neuroni 🔁 Backp...