Deep Learning

Modulo Core Models and Methods

Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): Lo studente sarà in grado di applicare metodologie di base del Deep Learning per problemi classici (es. apprendimento di rappresentazioni da dati etichettati, regressione, classificazione, regolarizzazione, transfer learning). Avrà le competenze per implementare e ottimizzare modelli per la trattazione di dati eterogenei, lavorare con architetture neurali e applicare tecniche di apprendimento e ottimizzazione come la discesa del gradiente e la back-propagation. Sarà inoltre in grado di comprendere e applicare i principi di Sequential Learning e Bayesian Inference.

Autonomia di giudizio (making judgements): Lo studente svilupperà una spiccata autonomia di giudizio nella valutazione e selezione di modelli e metodi di base del Deep Learning. Saprà analizzare criticamente la letteratura scientifica, identificando punti di forza e debolezza delle soluzioni e proponendo approcci innovativi. Acquisirà la capacità di prendere decisioni informate sull'applicabilità ed efficacia delle tecniche presentate nel corso in contesti reali, considerando implicazioni pratiche.

Abilità comunicative (communication skills): Lo studente sarà in grado di comunicare in modo esperto e appropriato concetti di base legati ai modelli di Deep Learning. Saprà presentare in modo chiaro risultati progetti e analisi, usando un linguaggio tecnico accurato. Le abilità comunicative includeranno la capacità di discutere criticamente, collaborare in gruppi multidisciplinari e redigere documentazione tecnica e rapporti scientifici di alta qualità.

Capacità di apprendimento (learning skills): Lo studente svilupperà un'elevata capacità di apprendimento autonomo, essenziale per rimanere all'avanguardia nel contesto del Deep Learning. Sarà proattivo nell'identificare e assimilare nuove teorie, algoritmi e tecnologie, sfruttando autonomamente risorse quali articoli di ricerca, tutorial, librerie software. Questa competenza lo preparerà a intraprendere percorsi più avanzati, affrontando le sfide future dell'intelligenza artificiale.

L’insegnamento si svolge tramite lezioni frontali e attività di laboratorio, che permetteranno l'applicazione pratica dei concetti teorici con esercitazioni e casi studio.

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus.

Il corso "Deep Learning: Core Models and Methods" esplora le attuali tecnologie del Deep Learning fornendone le basi. Si inizia con tecniche di base per l’apprendimento supervisionato per la risoluzione di classici problemi di regressione e classificazione quali il Multilayer Perceptiron. Si affronteranno poi i problemi di ottimizzazione e overfitting dei modelli di Deep Learning e le architetture convolutionali (CNN). Si presenteranno le tecniche di transfer learning e si tratteranno architetture neurali ricorrenti utili al trattamento dei dati sequenziali (es. serie, video) e si introdurranno i modelli generativi.  Si tratteranno moderne architetture per la risoluzione di problemi dello stato dell’arte (es. Transformers) e i modelli causali Bayesiani. Ampio spazio sarà dedicato alla parte progettuale e alle applicazioni industriali.

• M. P. Deisenroth et. al, Mathematics for Machine Learning, Cambridge University Press, 2020
• E. Alpaydin, Introduction to Machine Learning, The MIT press, 2009
• I. Goodfellow et al., Deep Learning, The MIT press, 2016
• O. Calin, Deep Learning Architectures: A Mathematical Approach, Springer, 2020
• S. Prince, Understanding Deep Learning, The MIT Press, 2023
• C. Bishop et al., Deep Learning – Fundation and Concepts, Springer, 2024
• C. Bishop, Pattern Recognition and Machine Learning, Springer, 2006
• R. Duda et al, Pattern Classification, Wiley, 2001
• F. Li et al, Bayesian Causal Inference: A Critical Review, Philosophical Transactions of Royal Society, 2022
• A. Gelman et al., Bayesian Data Analysis, 2025
• J. Peters, Elements of Causal Inference: Foundations and Learning Algorithms, The MIT Press, 2017

L’esame del modulo “Core models and methods” consiste in una prova scritta e in un progetto individuale o di gruppo, generalmente consistente nell’implementazione e analisi di un modello avanzato di Deep Learning su un dataset reale. La prova scritta è volta a verificare la conoscenza teorica degli argomenti del corso, nonché le capacità espressive e la proprietà di linguaggio degli studenti. La prova scritta consiste generalmente in tre domande a risposta aperta. Il progetto valuterà l'applicazione delle conoscenze avanzate, l'autonomia, la qualità dell'implementazione e dell'analisi. Il progetto va svolto successivamente alla prova scritta. A ciascuna delle due prove è assegnato un punteggio in trentesimi e il voto finale assegnato al modulo è ottenuto mediante la media aritmetica dei due voti.

Le prove del modulo “Core models and methods” vanno sostenute prima delle prove del modulo “Advanced models and methods”.

Per l'attribuzione del voto finale si seguiranno di norma i seguenti criteri:

Non approvato: lo studente non ha acquisito i concetti di base e non è in grado di svolgere il progetto.

18-23: lo studente dimostra padronanza minima dei concetti avanzati; progetto con carenze significative.

24-27: lo studente dimostra buona padronanza dei contenuti avanzati; progetto ben strutturato e analisi adeguata.

28-30 e lode: lo studente ha acquisito tutti i contenuti avanzati; progetto eccellente e innovativo, analisi completa, critica e senza errori, dimostrando piena autonomia.

Gli studenti con disabilità e/o DSA dovranno contattare con sufficiente anticipo il docente, il referente CInAP del DMI (prof.ssa Daniele) e il CInAP per fruire delle opportune misure compensative.

La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere

• Descrivere formalmente l’architettura MLP discutendo le possibili funzioni di loss da utilizzare in problemi di classificazione e regressione
• Si illustri l’algoritmo della Backpropagation fornendone anche lo speudocodice
• Formalizzare e discutere una architettura di Deep Sequential Learning
• Discutere i i principi degli algoritmi di Bayesian Causal Learning
• Discutere le architetture convoluzionali e le tecniche di trasfer learning 

Si precisa che tali domande hanno carattere puramente indicativo: le domande proposte all'esame potranno divergere, anche in modo significativo.