MULTIMEDIA E LABORATORIO

Anno accademico 2021/2022 - 1° anno - Curriculum Data Science
Docenti Crediti: 9
Organizzazione didattica: 225 ore d'impegno totale, 153 di studio individuale, 36 di lezione frontale, 24 di esercitazione, 12 di laboratorio
Semestre:

Obiettivi formativi

  • MULTIMEDIA

    Diventare esperto di sistemi multimediali: immagini, audio e video.

    Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

    1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
    2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
    3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
    4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
    5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.
  • LABORATORIO

    Diventare esperto di sistemi multimediali - immagini, audio e video - acquisendo le competenze per programmare sistemi di elaborazioni per informazioni di questo tipo.

    Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

    1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
    2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
    3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
    4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
    5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.

Modalità di svolgimento dell'insegnamento

  • MULTIMEDIA

    Didattica frontale

    Attività laboratoriali in Aula

  • LABORATORIO

    Attività laboratoriali in Aula

    Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus.


Prerequisiti richiesti

  • MULTIMEDIA

    Aver superato il corso di Interazione e Multimedia della Laurea Triennale

  • LABORATORIO

    Aver superato il corso di Interazione e Multimedia della Laurea Triennale che comprende un modulo di laboratorio svolto nel linguaggio Processing.


Frequenza lezioni

  • MULTIMEDIA

    la frequenza è fortemente consigliata

  • LABORATORIO

    La frequenza è fortemente consigliata.


Contenuti del corso

  • MULTIMEDIA

    Segnali: cenni sulle onde, serie di Fourier ed esercizi
    Segnali: tipi di segnale, campionamento, teoremi di shannon per il campionamento e la ricostruzione, quantizzazione uniforme e non uniforme, SQNR e RMS
    Segnali: dithering, tipologie di dithering: random, ordered, error diffusion; algoritmo di Floyd-Steinberg, algoritmo di Jarvis
    Segnali: Trasformate discrete, metodo di costruzione, trasformata di Haar, di Walsh/Hadamard e di Fourier
    Segnali: Laboratorio in MATLAB sugli argomenti trattati

    Valutazione della qualità di una immagine. Criteri oggettivi e soggettivi. PSNR, SSIM, Delta E in CIE L*a*b*.
    Formati delle immagini Raster e vettoriale. Formati delle immagini: BMP, PNG, TIFF, GIF. Compressione e codifiche: Huffman, Golomb, Aritmetica.
    Codifiche LZW, differenziale, RLE, basate su i simboli, sul bit plane. Codifica mediante la trasformata.
    Trasformate Haar, Fourier, DCT.
    La morfologia matematica applicata alle immagini.
    La morfologia matematica applicata alle immagini in scala di grigio.
    restauro di immagini. Modelli di rumore
    Filtri di media aritmetica, geometrica, armonica e contrarmonica. Filtro mediano, minimo, massimo, punto medio, alpha-trimmed. Filtri adattivi. Rumore periodico. Rimozione del rumore nel dominio delle frequenze. Notch filter. Filtro di Wiener.
    Filtraggio nel dominio spaziale. Edge detector. Algoritmo di Canny. Filtraggio nel dominio delle frequenze. Filtraggio di enfasi. Filtraggio omomorfico. Trasformata di Hough.
    Segmentazione delle immagini

    Video Digitale: Aspect Ratio; Risoluzione; Interlacciamento; Formati di trasmissione e registrazione analogici e digitali.
    Video Digitale: Conversione Analogico-Digitale; Parte II – Errori di registrazione, artefatti e drop analogici e digitali più comuni; Parte III – Proiezioni fra spazio 3D e 2D, modello CAHV, laboratorio Matlab sulle proiezioni, introduzione ai motion field più comuni.
    Video Digitale: Laboratorio Matlab: Confronto fra motion field ideali ed empirici, calcolo ed analisi visuale di motion field generici. Modelli di movimento della telecamera a 4-parametri e a 6-parametri. Criterio di stima del movimento: Displaced Frame Difference. Algoritmi di block matching: esaustivo e three-step search. Algoritmi di feature matching: FAST.
    Video Digitale: Stabilizzazione. Sistemi di Stabilizzazione Digitale: algoritmi di filtraggio del movimento (Motion Vector Integration, Frame Position Smoothing e filtro Kalman); esempi di deformazione dell'immagine e di stabilizzazione cromatica. Laboratorio Matlab: rilevamento del movimento con sottrazione del background; esempio applicativo del filtro Kalman; esempio applicativo di stabilizzazione video tramite algoritmo FAST.
    Video Digitale: Formati video MPEG-1, MPEG-2, MPEG-4, H.264. 3D Scan - tipologie di laser scanning (a triangolazione, a luce strutturata, a tempo di volo, tramite fotografie): hardware, metodi ed esempi.

     

    Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato in precedenza, al fine di rispettare il programma previsto e riportato nel syllabus

  • LABORATORIO

    Nel modulo di laboratorio si riprenderanno i contenuti della parte teorica, fornendo degli strumenti pratici per poter implementare alcuni degli algoritmi noti.

    I linguaggi di programmazione utilizzati saranno Python e Matlab.


Testi di riferimento

  • MULTIMEDIA

    ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

    Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1

  • LABORATORIO

    ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

    Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

    Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1


Programmazione del corso

MULTIMEDIA
 ArgomentiRiferimenti testi
1Restauro e ricostruzione di immaginiCapitolo 5 di "Elaborazione delle Immagini Digitali" 
2Morfologia applicata alle immagini digitaliCapitolo 9 di "Elaborazione delle immagini digitali" 
3La Segmentazione di immaginiCapitolo 10 di "Elaborazione delle immagini digitali" 
4Codifiche, formati di immaginiCapitolo 8 di "Elaborazione delle immagini digitali" 
5Modelli per la telecamera e stima del movimentoCapitolo 5 di "Video Processing and Communications" 
6Stima del movimento a due dimensioniCapitolo 6 di "Video Processing and Communications" 
7Fondamenti di codifica videoCapitolo 8 di "Video Processing and Communications" 
8Standard di compressione videoCapitolo 13 di "Video Processing and Communications" 
9Acustica e natura del suono. Forme d'onda e Analisi di Fourier.Capitolo 1 di "Audio e multimedia" 
10La fisica del suono e la percezione uditivaCapitolo 2 di "Audio e multimedia" 
11Digitalizzazione del suonoCapitolo 3 di "Audio e multimedia" 
12Compressione e codifiche u-law e A-lawCapitolo 4 di "Audio e multimedia" 
13Effetti sonoriCapitolo 5 di "Audio e multimedia" 
LABORATORIO
 ArgomentiRiferimenti testi
1Python programmig for multimedia.Python Docs. 
2Matlab programming for multimedia.Matlab Docs. 

Verifica dell'apprendimento

Modalità di verifica dell'apprendimento

  • MULTIMEDIA
    1. test scritto su contenuto del corso
    2. eventuale progetto integrativo

     

    E' prevista una prova in itinere nel periodo di sospensione delle lezioni per prove in itinere previsto dal Corso di Laurea. Le date sono riportate su http://web.dmi.unict.it/corsi/lm-18/calendario-didattico

    La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.

  • LABORATORIO

    L'apprendimento verrà verificato svolgendo un progetto software concordato con il docente.

    La verifica dell’apprendimento potrà essere effettuata anche per via telematica, qualora le condizioni lo dovessero richiedere.


Esempi di domande e/o esercizi frequenti

  • MULTIMEDIA

    Rumore casuale nelle immagini:

    • Cos’è il rumore casuale nelle immagini? Da cosa può essere introdotto?
    • Sia P una distribuzione di probabilità di legge P(x)=0.10 per x=0; P(x)=0.25 per x=255; P(x)=0 altrimenti. Dove x è un valore (intero) di luminanza a 8 bit. Come si chiama il rumore che segue tale distribuzione di probabilità? Discutere del significato della distribuzione descritta.
    • Cos’è il filtro di media contrarmonica? Com’è definito?
    • Il filtro di media contrarmonica può essere utilizzato per attenuare il suddetto rumore con distribuzione P? Se si, spiegare come. Se no, proporre un altro tipo di filtraggio.

    Operatori morfologici:

    • Cos’è l’elemento strutturante nella morfologia matematica applicata alle immagini?
    • A cosa serve l’operatore morfologico Bottom-hat?
    • Nella definizione dell’operazione di Bottom-hat si utilizza l’operatore di Chiusura. Com’è definita tale operazione di Chiusura? Quali sono i suoi effetti?
    • Indicare almeno una proprietà matematica dell’operatore di Chiusura.

    Bitrate:

    • Cos’è il bitrate nell’audio digitale? Da quali valori dipende? Cosa rappresentano tali valori?
    • Discutere delle operazioni di sovracampionamento e sottocampionamento. Cosa sono? Come si possono effettuare? Che effetti hanno?
    • Un segnale audio non compresso con bitrate pari a 1200 kbps e frequenza di campionamento pari a 44000Hz viene sottocampionato 2 volte. La prima volta il bitrate viene portato a 600 kbps e la seconda volta a 300kbps. Dopo il primo sottocampionamento il segnale non presenta distorsioni. Dopo il secondo sottocampionamento si rileva invece una distorsione. E’ possibile una cosa del genere? Motivare.
    • E’ possibile stabilire un range di valori per la frequenza di Nyquist di tale segnale? Se si qual è?

    Formati di trasmissione e registrazione:

    • Dire a cosa sia dovuto l’acronimo “SECAM” dell’omonimo formato TV analogico, e descriverne brevemente il funzionamento.
    • Che sistema di modulazione adotta SECAM? Ci sono differenze rispetto al sistema di modulazione adottato in NTSC e PAL?
    • Quale spazio di colore è utilizzato nel formato TV analogico SECAM? Cosa rappresentano e come sono calcolati i 3 canali di tale spazio di colore?
    • -Quali sono i principali vantaggi e svantaggi del formato TV analogico SECAM?

    Dispositivi, metodi di registrazione e scansione:

    • Descrivere il funzionamento del sistema di scansione con interlacciamento.
    • In presenza di interlacciamento come cambiano le relazione fra larghezza di banda del canale, banda del segnale e frequenza di visualizzazione?
    • L’interlacciamento può introdurre degli artefatti. Quali? Fare un esempio.
    • Quale difetto di visualizzazione può essere invece corretto utilizzando l’interlacciamento?
    • Su quale tipologia di monitor è preferibile utilizzare formati video interlacciati e su quale no? Come si chiama l’alternativa al sistema di scansione con interlacciamento?
  • LABORATORIO

    I progetti verteranno sugli argomenti del corso, per cui si potrebbe chiedere l'implementazione di:

    • Algoritmi per il miglioramento della qualità di contenuti multimediali;
    • Algoritmi per l'elaborazione di contenuti audio/immagini/video;
    • Algoritmi per la codifica e compressione di informazioni multimediali;
    • Algoritmi per l'estrazione di informazioni relative alla semantica dei contenuti multimediali;