Generative Artificial Intelligence

Conoscenza e comprensione (knowledge and understanding).

Lo studente acquisirà in primo luogo il quadro matematico formale della modellazione generativa, intesa come stima di una distribuzione di probabilità che approssimi quella dei dati attraverso la minimizzazione di divergenze o distanze tra distribuzioni. A tal fine studierà:

• algebra lineare e calcolo multivariato;
• probabilità, inferenza bayesiana e variazionale;
• teoria dell'informazione e trasporto ottimo;
• processi stocastici ed equazioni differenziali stocastiche;
• elementi di geometria Riemanniana e iperbolica;
• elementi di calcolo quantistico.

Su queste basi acquisirà:

• i fondamenti di Deep Learning e Reinforcement Learning;
• il Deep Learning su spazi non convenzionali e i fondamenti di Quantum AI;
• le principali famiglie di modelli generativi: VAE, GAN, Normalizing Flows, modelli autoregressivi, energy-based e score-based, Diffusion Models, Flow Matching;
• i moderni sistemi generativi: LLM e modelli di ragionamento, modelli multimodali, RAG, sistemi agentici, Recursive Self-Improvement;
• le metriche di valutazione e il quadro regolatorio nei settori industriale, medicale e finanziario.

Capacità di applicare conoscenza e comprensione (applying knowledge and understanding).

Saper derivare formalmente le funzioni obiettivo dei principali modelli generativi. Saper progettare, addestrare e valutare in Python/PyTorch modelli generativi per immagini, serie temporali, dati tabellari, grafi e testo. In particolare, saper:

• generare dati sintetici;
• applicare modelli generativi ad anomaly detection, manutenzione predittiva, imaging medico e generazione di scenari finanziari;
• adattare LLM open-weight a domini specifici (RAG, fine-tuning parameter-efficient, allineamento tramite reinforcement learning, quantizzazione);
• sperimentare modelli generativi quantistici su simulatore.

Autonomia di giudizio (making judgements).

Scegliere il modello più adeguato al tipo di dato, alla geometria dello spazio di rappresentazione e ai vincoli computazionali. Valutare criticamente la qualità dei campioni e la fedeltà, utilità e privacy dei dati sintetici. Riconoscere allucinazioni, bias e rischi di memorizzazione. Analizzare le implicazioni etiche, legali e di sicurezza in domini ad alto rischio.

Abilità comunicative (communication skills).

Produrre notebook e report tecnici rigorosi, incluse model cards e documentazione di limiti e rischi. Presentare risultati e derivazioni formali a interlocutori tecnici e non tecnici.

Capacità di apprendimento (learning skills).

Consultare articoli scientifici e technical report, valutare benchmark in modo critico, aggiornarsi autonomamente su architetture emergenti e trasferire le competenze a nuovi domini.

Le lezioni sono tenute in aula con l'ausilio di slide, messe a disposizione degli studenti. Le slide non sostituiscono i testi di riferimento, ma agevolano la comprensione della lezione e forniscono un dettaglio puntuale sul programma svolto. Le lezioni teoriche sono affiancate da esercitazioni in ambiente Python (PyTorch, Hugging Face, etc...) su casi di studio industriali, medicali e finanziari. Articoli scientifici integrativi saranno indicati durante il corso.

In caso di necessità, a seguito di apposite indicazioni da parte degli organi di Ateneo, l'insegnamento potrà essere impartito in modalità mista o a distanza, con le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto qui riportato.

Programmazione di base in Python e relativi ambienti di sviluppo per AI;

Basi di Analisi (calcolo differenziale in più variabili), Probabilità/Statistica, Algebra lineare;

Concetti introduttivi di Machine Learning.

La frequenza delle lezioni e' fortemente consigliata.
La frequenza delle lezioni rispecchia le modalità previste dal Manifesto degli studi e dal Regolamento Didattico di Ateneo.

1. Introduzione alla Generative AI e formalizzazione del problema generativo

• Modelli discriminativi e generativi: differenze di obiettivo e di impiego.
• Il problema generativo come approssimazione della distribuzione dei dati tramite minimizzazione di divergenze.
• Tassonomia dei modelli: verosimiglianza esplicita, approssimata e implicita.
• Compromesso tra qualità, diversità e velocità di campionamento.
• Evoluzione storica fino ai foundation model; panoramica applicativa in ambito industriale, medicale e finanziario.

2. Fondamenti matematici per la modellazione generativa

• Algebra lineare e calcolo: decomposizione spettrale e SVD, Jacobiano e cambio di variabile nelle trasformazioni di densità.
• Probabilità e inferenza: Gaussiana multivariata, MLE e MAP, variabili latenti, algoritmo EM, inferenza variazionale, stimatori Monte Carlo del gradiente.
• Teoria dell'informazione: entropia, divergenze di Kullback-Leibler e Jensen-Shannon come misure di discrepanza tra distribuzioni.
• Trasporto ottimo: distanza di Wasserstein e sue proprietà per il confronto tra distribuzioni.
• Processi stocastici: catene di Markov, moto Browniano, equazioni differenziali stocastiche, Fokker-Planck, dinamica di Langevin.
• Geometria differenziale: varietà Riemanniane, geodetiche, spazio iperbolico.
• Calcolo quantistico: spazi di Hilbert, qubit, entanglement, circuiti e misura.

3. Deep Learning, Reinforcement Learning, spazi non convenzionali e Quantum AI

• Deep Learning: backpropagation, ottimizzatori, regolarizzazione; CNN, U-Net, RNN/LSTM; Attention e Transformer.
• Reinforcement Learning: processi decisionali di Markov, policy e value function, policy gradient, actor-critic, PPO.
• Modelli di ricompensa e ruolo del RL nell'addestramento e nell'allineamento dei modelli generativi.
• Geometric Deep Learning: invarianza ed equivarianza, Graph Neural Networks.
• Reti iperboliche per la rappresentazione di dati gerarchici e apprendimento su varietà.
• Quantum AI: codifica quantistica dei dati, circuiti variazionali, kernel quantistici.
• Modelli generativi quantistici (Quantum Circuit Born Machines, Quantum GAN) e limiti dell'era NISQ.

4. Autoencoder e Variational Autoencoder (VAE)

• Autoencoder deterministici e denoising per l'apprendimento di rappresentazioni compresse.
• VAE: derivazione dell'ELBO e stimatore del gradiente per riparametrizzazione.
• Varianti: beta-VAE e disentanglement, VAE condizionali e gerarchici, VQ-VAE con spazio latente discreto.
• Aspetti avanzati: autoencoder come tokenizer latenti per la generazione di immagini e video; sparse autoencoder per l'interpretabilità degli LLM; VAE iperbolici.
• Applicazioni

5. Generative Adversarial Networks (GAN)

• Formulazione avversaria tra generatore e discriminatore e interpretazione come minimizzazione di divergenze.
• Instabilità di addestramento e mode collapse; stabilizzazione con WGAN.
• Architetture: DCGAN, GAN condizionali, Pix2Pix e CycleGAN per traduzione tra domini, StyleGAN.
• GAN per serie temporali (TimeGAN) e dati tabellari (CTGAN).
• Aspetti avanzati: loss avversarie nei tokenizer visivi; distillazione avversaria dei modelli di diffusione.
• Applicazioni: sintesi di difetti industriali, cross-modality synthesis in imaging medico, serie finanziarie sintetiche.

6. Normalizing Flows, modelli autoregressivi ed energy-based

• Normalizing Flows: trasformazioni invertibili con verosimiglianza esatta (RealNVP, Glow).
• Flussi continui e Neural ODE.
• Modelli autoregressivi: fattorizzazione sequenziale della distribuzione per immagini, audio e sequenze.
• Modelli energy-based e score matching come stima del gradiente della densità.
• Aspetti avanzati: generazione autoregressiva visiva multi-scala; State Space Models e architetture ibride per sequenze lunghe.
• Applicazioni

7. Diffusion Models e Flow Matching

• Processo di corruzione progressiva con rumore e processo inverso di denoising (DDPM).
• Legame con lo score matching e formulazione continua tramite equazioni stocastiche e deterministiche.
• Campionamento accelerato (DDIM), classifier-free guidance per la generazione condizionata, Latent Diffusion Models.
• Flow Matching e rectified flow come paradigma di riferimento dei generatori attuali.
• Aspetti avanzati:
  • Diffusion Transformer; consistency models per la generazione in pochi passi;
  • diffusione discreta e modelli linguistici a diffusione;
  • ottimizzazione tramite RL; generazione video e world model; Flow Matching su varietà.
• Applicazioni

8. Large Language Models e Foundation Models

• Tokenizzazione, pre-training autoregressivo e scaling laws.
• Fine-tuning supervisionato e parameter-efficient (LoRA, QLoRA).
• Allineamento alle preferenze umane tramite RLHF e DPO.
• In-context learning e Chain-of-Thought; modelli multimodali testo-immagine.
• Quantizzazione e inferenza locale di modelli open-weight.
• Aspetti avanzati:
  • Mixture-of-Experts e contesti lunghi;
  • modelli di ragionamento addestrati con RL a ricompense verificabili (GRPO) e scaling del calcolo in inferenza;
  • distillazione in small language models; decodifica speculativa.

9. Sistemi generativi moderni: RAG, agenti, valutazione e governance

• Retrieval-Augmented Generation: basi dati vettoriali, retrieval e reranking per ancorare le risposte a fonti documentali.
• Sistemi agentici e tool use; sistemi multi-agente e Model Context Protocol.
• Valutazione: metriche per immagini e testo, LLM-as-a-judge, misura delle allucinazioni.
• Dati sintetici e privacy; bias, explainability, watermarking e rilevamento di deepfake.
• Sicurezza: prompt injection, red teaming, interpretabilità meccanicistica.
• Quadro regolatorio: AI Act, GDPR, normativa sui dispositivi medici.
• Recursive Self-Improvement (cenni):
  • self-play, self-rewarding e auto-generazione di dati di addestramento;
  • modelli che contribuiscono al miglioramento dei propri successori;
  • rischio di model collapse, implicazioni di sicurezza e controllo.

10. Applicazioni settoriali e casi di studio

• Industriale
• Medicale
• Finanziario
• Aspetti avanzati: foundation model per serie temporali

Dispense/slide(s) del docente.

S. J. D. Prince, Understanding Deep Learning, The MIT Press, Cambridge (MA), 2023. ISBN 978-0-262-04864-4.

K. P. Murphy, Probabilistic Machine Learning: Advanced Topics, The MIT Press, Cambridge (MA), 2023. ISBN 978-0-262-04843-9.

J. M. Tomczak, Deep Generative Modeling, 2ª ed., Springer, Cham, 2024. ISBN 978-3-031-64086-5.

L'esame finale sarà così articolato:

1. Prova scritta;
2. Realizzazione di un progetto in ambiente Python concordato con il docente.

La prova scritta è costituita da tre domande a risposta aperta sugli aspetti teorici e metodologici del corso, incluse le derivazioni formali dei modelli generativi. La prenotazione per la partecipazione alla prova scritta è obbligatoria.

Il progetto consiste nella progettazione, implementazione e valutazione di un sistema generativo su un caso applicativo concordato con il docente, preferibilmente nei settori industriale, medicale o finanziario. È corredato da una relazione tecnica e da una discussione orale dei risultati.

Note:

• È vietato l'uso di qualsiasi strumento hardware (calcolatrici programmabili/scientifiche, tablet, smartphone, smartwatch, cellulari, auricolari BT etc.), di libri o documenti personali durante la prova scritta. Eventuale documentazione sarà fornita dalla commissione durante l'esame.
• Durante le prove scritte non potranno essere tenuti a portata di mano zaini, borse ed altri contenitori, che dovranno essere lasciati a debita distanza. Si consiglia di non portare con sé oggetti di valore: la commissione non prenderà in custodia nulla e non potrà essere ritenuta responsabile di eventuali mancanze.
• Per sostenere gli esami è necessario avere effettuato la prenotazione sul portale SmartEdu. Per eventuali problemi tecnici relativi alla prenotazione occorre rivolgersi alla Segreteria didattica.
• Non sono ammesse prenotazioni tardive tramite email. In mancanza di prenotazione, l'esame non può essere né sostenuto né verbalizzato.
• Gli studenti con disabilità e/o DSA dovranno contattare, con largo anticipo rispetto alla data dell'esame, la commissione e il referente CInAP del DMI per comunicare che intendono sostenere l'esame fruendo delle opportune misure compensative. Tali misure devono essere certificate dal CInAP.

Prove in Itinere: Non previste.

In caso di necessità, a seguito di apposite indicazioni da parte degli organi di Ateneo, la verifica potrà essere effettuata in modalità telematica, con le necessarie variazioni rispetto a quanto dichiarato in precedenza.

Le prove sono finalizzate ad ottenere una valutazione complessiva della preparazione dello studente. Il voto è attribuito come media tra la valutazione del progetto e quella della prova scritta, secondo il seguente schema:

• Non approvato: lo studente non ha acquisito i concetti di base, non è in grado di rispondere adeguatamente ad almeno il 60% delle domande e non ha preparato in modo adeguato il progetto assegnato.
• 18-20: padronanza appena sufficiente dei concetti di base; il progetto è impostato con molta difficoltà e con vari errori.
• 21-24: padronanza minima dei concetti di base e modeste capacità di collegamento dei contenuti; lo studente riesce a impostare progetti semplici.
• 25-27: buona padronanza dei contenuti, buone capacità di collegamento e buone capacità tecnico-pratiche.
• 28-30 e lode: piena padronanza di tutti i contenuti del corso, capacità di collegarli con spirito critico e sviluppo del progetto in modo completo, rigoroso e originale.

Derivare l'ELBO di un Variational Autoencoder e discutere lo stimatore del gradiente per ri-parametrizzazione.

Descrivere la formulazione avversaria delle GAN, le cause del mode collapse e il ruolo della distanza di Wasserstein.

Illustrare la formulazione continua dei modelli a diffusione e confrontarla con il Flow Matching.

Descrivere il ruolo del Reinforcement Learning nell'allineamento degli LLM e nell'addestramento dei modelli di ragionamento.

Discutere i vantaggi della geometria iperbolica nella rappresentazione di dati gerarchici.

Descrivere una Quantum Circuit Born Machine e i limiti dei modelli generativi quantistici nell'era NISQ.