Multimedia Coding

Diventare esperto dei principi e delle tecniche di codifica e compressione dei contenuti multimediali, acquisendo le competenze per comprendere, progettare e valutare sistemi di media coding per immagini, video e audio.

Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i principi teorici e algoritmici alla base della codifica e della compressione dei contenuti multimediali, con riferimento alle tecniche di codifica entropica, compressione lossy, codifica predittiva e percettiva, nonché ai più recenti paradigmi di compressione basati su tecniche di machine learning.
2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per implementare, utilizzare e valutare tecniche e sistemi per la codifica e la compressione di immagini, segnali video e audio.
3. Autonomia di giudizio (making judgements): Attraverso esempi in aula e attività sperimentali lo studente sarà messo nelle condizioni di comprendere se le soluzioni di codifica e compressione da lui proposte soddisfano opportuni requisiti di qualità, efficienza e complessità.
4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del media coding e della compressione dei contenuti multimediali.
5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.

Didattica Frontale

Seminari integrativi

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus.

Accesso al materiale didattico fornito dal docente su MS Teams, nel Team "Multimedia Coding", codice: qv1shk6.

Tutte le comunicazioni avverranno sul canale Telegram ufficiale del corso, pertanto gli studenti sono pregati ad accedere: https://t.me/+b_WjQqfJxqw4ODRk.

Conoscenze di base relative alla codifica dell'informazione, segnali multimediali e conoscenze base relative a reti neurali.

Il corso introduce i principali principi, tecniche e paradigmi per la codifica e la compressione dei contenuti multimediali, con particolare attenzione a immagini, video e audio.

A partire dal richiamo di alcuni concetti fondamentali di teoria dell’informazione, codifica entropica, quantizzazione e trasformate, saranno approfondite le tecniche di modellazione statistica dei dati, codifica entropica avanzata, compressione lossy, ottimizzazione rate-distortion, codifica predittiva e percettiva e residual coding. I principali paradigmi della codifica multimediale tradizionale saranno discussi anche attraverso opportuni casi di studio.

Una parte del corso sarà dedicata alle tecniche di compressione basate su machine learning, con particolare riferimento a rappresentazioni latenti, modelli probabilistici appresi e rappresentazioni neurali. Saranno inoltre affrontati i metodi per la valutazione della qualità e delle prestazioni dei sistemi di codifica, includendo criteri percettivi e valutazione soggettiva.

Infine, saranno introdotti alcuni paradigmi emergenti del media coding, comprendenti approcci percettivi, generativi e semantici.

1. K. Sayood, Introduction to Data Compression, 5th ed., Morgan Kaufmann/Elsevier, 2017 - testo di riferimento principale per i principi e le tecniche classiche.

2. Z.-N. Li, M. S. Drew, J. Liu, Fundamentals of Multimedia, 3rd ed., Springer, 2021 - riferimento complementare per image, video e audio coding.

3. Y. Yang, S. Mandt, L. Theis, An Introduction to Neural Data Compression, 2023 - riferimento principale per learned e generative compression.

4. Articoli scientifici e materiale didattico fornito dal docente durante il corso - per metriche percettive, neural representations, semantic coding e argomenti emergenti.

Per poter accedere all'esame, in accordo con il regolamento, è OBBLIGATORIA la prenotazione sul portale Smart Edu e su qualunque altra piattaforma, come MS Forms, richiesta dal docente per poter ottimizzare la logistica. Per eventuali problemi tecnici relativi alla prenotazione Smart Edu occorre rivolgersi alla Segreteria didattica.

La prova d'esame consisterà in una parte orale e nella valutazione di un progetto assegnato allo studente.

La prova è strutturata in modo che ad ogni studente sia attribuito un voto secondo il seguente schema:

Non approvato: lo studente non ha acquisito i concetti di base e non è in grado di rispondere ad almeno il 60% delle domande né di svolgere gli esercizi.

• 18-23: lo studente dimostra una padronanza minima dei concetti di base, le sue capacità  di collegamento dei contenuti sono modeste, riesce a risolvere semplici esercizi.
• 24-27:  lo studente dimostra una buona padronanza dei contenuti del corso, le sue capacità di collegamento dei contenuti sono buone,  risolve gli esercizi con pochi errori.
• 28-30 e lode: lo studente ha acquisito tutti i contenuti del corso ed è in grado di padroneggiarli compiutamente e di collegarli con spirito critico; risolve gli esercizi in modo completo e senza errori.

La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.

Gli studenti con disabilità e/o DSA dovranno contattare con sufficiente anticipo rispetto alla data dell'esame il docente e il referente CInAP del DMI per comunicare che intendono sostenere l'esame fruendo delle opportune misure compensative.

1. Spiegare il ruolo della modellazione probabilistica nella compressione dei dati e discutere come la conoscenza o la stima della distribuzione dei simboli influenzi l’efficienza della codifica entropica.
2. Descrivere il principio del rate-distortion trade-off in un sistema di compressione lossy e discutere come esso venga affrontato sia nei codec tradizionali sia nei moderni sistemi di learned compression.
3. Spiegare i principi della codifica predittiva e del residual coding, discutendo perché la codifica dell’errore di predizione possa risultare più efficiente rispetto alla codifica diretta del segnale originale.