MULTIMEDIA E LABORATORIO

Obiettivi formativi

• MULTIMEDIA

  Diventare esperto di sistemi multimediali: immagini, audio e video.

  Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

  1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
  2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
  3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
  4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
  5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.
• LABORATORIO

  Diventare esperto di sistemi multimediali - immagini, audio e video - acquisendo le competenze per programmare sistemi di elaborazioni per informazioni di questo tipo.

  Obiettivi formativi generali dell'insegnamento in termini di risultati di apprendimento attesi.

  1. Conoscenza e capacità di comprensione (knowledge and understanding): l'obiettivo del corso è quello di far acquisire conoscenze che consentano allo studente di comprendere i meccanismi teorici e fisici che stanno alla base del sistema visivo umano, della formazione ed elaborazione del suono, del video e delle immagini digitali, del miglioramento della qualità visiva delle immagini digitali e della qualità audio.
  2. Capacità di applicare conoscenza e comprensione (applying knowledge and understanding): lo studente acquisirà le competenze necessarie per acquisire, editare, comprimere e salvare un segnale viedeo e audio. In particolare una parte del corso sarà relativa allo studio del software Matlab per applicare tali conoscenze teoriche.
  3. Autonomia di giudizio (making judgements): Attraverso esempi in aula lo studente sarà messo nelle condizioni di comprendere se le soluzioni da lui proposte soddisfano un certo grado di qualità.
  4. Abilità comunicative (communication skills): lo studente acquisirà le necessarie abilità comunicative e la proprietà di linguaggio tecnico nell'ambito del settore Multimediale.
  5. Capacità di apprendimento (learning skills): il corso si propone, come obiettivo, di fornire allo studente le necessarie metodologie teoriche e pratiche per poter affrontare e risolvere autonomamente nuove problematiche che dovessero sorgere durante una attività lavorativa. A tale scopo diversi argomenti saranno trattati a lezione coinvolgendo lo studente nella ricerca di possibili soluzioni a problemi reali.

Modalità di svolgimento dell'insegnamento

• MULTIMEDIA

  Didattica frontale

  Attività laboratoriali in Aula

• LABORATORIO

  Attività laboratoriali in Aula

Prerequisiti richiesti

• MULTIMEDIA

  Aver superato il corso di Interazione e Multimedia della Laurea Triennale

• LABORATORIO

  Aver superato il corso di Interazione e Multimedia della Laurea Triennale che comprende un modulo di laboratorio svolto nel linguaggio Processing.

Frequenza lezioni

• MULTIMEDIA

  la frequenza è fortemente consigliata

• LABORATORIO

  La frequenza è fortemente consigliata.

Contenuti del corso

• MULTIMEDIA

  Valutazione della qualità di una immagine. Criteri oggettivi e soggettivi. PSNR, SSIM, Delta E in CIE L*a*b*.
  Formati delle immagini Raster e vettoriale. Formati delle immagini: BMP, PNG, TIFF, GIF. Compressione e codifiche: Huffman, Golomb, Aritmetica.
  Codifiche LZW, differenziale, RLE, basate su i simboli, sul bit plane. Codifica mediante la trasformata.
  Trasformate Haar, Fourier, DCT.
  La morfologia matematica applicata alle immagini.
  La morfologia matematica applicata alle immagini in scala di grigio.
  restauro di immagini. Modelli di rumore
  Filtri di media aritmetica, geometrica, armonica e contrarmonica. Filtro mediano, minimo, massimo, punto medio, alpha-trimmed. Filtri adattivi. Rumore periodico. Rimozione del rumore nel dominio delle frequenze. Notch filter. Filtro di Wiener.
  Filtraggio nel dominio spaziale. Edge detector. Algoritmo di Canny. Filtraggio nel dominio delle frequenze. Filtraggio di enfasi. Filtraggio omomorfico. Trasformata di Hough.
  Segmentazione delle immagini
  Audio Digitale: Definizione di suono e audio, cenni sulle onde, serie di Fourier.
  Audio Digitale: Frequenza dei suoni, spettro udibile, toni puri e complessi, note musicali, diapason, rifrazione, riflessione e diffrazione delle onde sonore, eco, riverbero.
  Audio Digitale: Effetto doppler, ampiezza dei suoni, decibel, decibel SPL e SIL, inviluppo, spettro dei suoni, rumori colorati.
  Audio Digitale: Audio analogico, campionamento e quantizzazione segnali audio, SNR e SQNR, formati audio digitale, codifica PCM e u-law.
  Audio Digitale: Codifica A-law, altre tipologie di codifica, rappresentazione audio digitale ed elaborazione nel dominio del tempo (modifica volume, inviluppo e effetti).
  Audio Digitale: Laboratorio in aula: implementazione in matlab di algoritmi di elaborazione audio.
  Video Digitale: Aspect Ratio; Risoluzione; Interlacciamento; Formati di trasmissione e registrazione analogici e digitali.
  Video Digitale: Conversione Analogico-Digitale; Parte II – Errori di registrazione, artefatti e drop analogici e digitali più comuni; Parte III – Proiezioni fra spazio 3D e 2D, modello CAHV, laboratorio Matlab sulle proiezioni, introduzione ai motion field più comuni.
  Video Digitale: Laboratorio Matlab: Confronto fra motion field ideali ed empirici, calcolo ed analisi visuale di motion field generici. Modelli di movimento della telecamera a 4-parametri e a 6-parametri. Criterio di stima del movimento: Displaced Frame Difference. Algoritmi di block matching: esaustivo e three-step search. Algoritmi di feature matching: FAST.
  Video Digitale: Stabilizzazione. Sistemi di Stabilizzazione Digitale: algoritmi di filtraggio del movimento (Motion Vector Integration, Frame Position Smoothing e filtro Kalman); esempi di deformazione dell'immagine e di stabilizzazione cromatica. Laboratorio Matlab: rilevamento del movimento con sottrazione del background; esempio applicativo del filtro Kalman; esempio applicativo di stabilizzazione video tramite algoritmo FAST.
  Video Digitale: Formati video MPEG-1, MPEG-2, MPEG-4, H.264. 3D Scan - tipologie di laser scanning (a triangolazione, a luce strutturata, a tempo di volo, tramite fotografie): hardware, metodi ed esempi.

• LABORATORIO

  Nel modulo di laboratorio si riprenderanno i contenuti della parte teorica, fornendo degli strumenti pratici per poter implementare alcuni degli algoritmi noti.

  I linguaggi di programmazione utilizzati saranno Python e Matlab.

Testi di riferimento

• MULTIMEDIA

  ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

  Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

  Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1

• LABORATORIO

  ELABORAZIONE DELLE IMMAGINI DIGITALI, Terza Edizione, Rafael C. Gonzalez, Richard E. Woods, Ediz. Pearson, Prentice Hall

  Audio e multimedia 3 ed., di Lombardo, Valle, Apogeo ISBN: 9788850327621

  Video Processing and Communications, Wang, Osternmann, Zhang, Prentice Hall, Pearson Education, ISBN: 0-13-017547-1

Programmazione del corso

Verifica dell'apprendimento

Modalità di verifica dell'apprendimento

• MULTIMEDIA
  1. test scritto su contenuto del corso
  2. eventuale progetto integrativo

   

  E' prevista una prova in itinere nel periodo di sospensione delle lezioni per prove in itinere previsto dal Corso di Laurea. Le date sono riportate su http://web.dmi.unict.it/corsi/lm-18/calendario-didattico

• LABORATORIO

  L'apprendimento verrà verificato svolgendo un progetto software concordato con il docente.

Esempi di domande e/o esercizi frequenti

• MULTIMEDIA

  Rumore casuale nelle immagini:

  • Cos’è il rumore casuale nelle immagini? Da cosa può essere introdotto?
  • Sia P una distribuzione di probabilità di legge P(x)=0.10 per x=0; P(x)=0.25 per x=255; P(x)=0 altrimenti. Dove x è un valore (intero) di luminanza a 8 bit. Come si chiama il rumore che segue tale distribuzione di probabilità? Discutere del significato della distribuzione descritta.
  • Cos’è il filtro di media contrarmonica? Com’è definito?
  • Il filtro di media contrarmonica può essere utilizzato per attenuare il suddetto rumore con distribuzione P? Se si, spiegare come. Se no, proporre un altro tipo di filtraggio.

  Operatori morfologici:

  • Cos’è l’elemento strutturante nella morfologia matematica applicata alle immagini?
  • A cosa serve l’operatore morfologico Bottom-hat?
  • Nella definizione dell’operazione di Bottom-hat si utilizza l’operatore di Chiusura. Com’è definita tale operazione di Chiusura? Quali sono i suoi effetti?
  • Indicare almeno una proprietà matematica dell’operatore di Chiusura.

  Fenomeni fisici legati al suono:

  • Cosa si intende per “ombra sonora”? A quale fenomeno fisico è legato?
  • Cos’è l’effetto Doppler? Discutere.
  • Cosa succede se una sorgente sonora si muove alla stessa velocità del suono che emette? Cosa avvertirà un ricevitore fermo?

  Bitrate:

  • Cos’è il bitrate nell’audio digitale? Da quali valori dipende? Cosa rappresentano tali valori?
  • Discutere delle operazioni di sovracampionamento e sottocampionamento. Cosa sono? Come si possono effettuare? Che effetti hanno?
  • Un segnale audio non compresso con bitrate pari a 1200 kbps e frequenza di campionamento pari a 44000Hz viene sottocampionato 2 volte. La prima volta il bitrate viene portato a 600 kbps e la seconda volta a 300kbps. Dopo il primo sottocampionamento il segnale non presenta distorsioni. Dopo il secondo sottocampionamento si rileva invece una distorsione. E’ possibile una cosa del genere? Motivare.
  • E’ possibile stabilire un range di valori per la frequenza di Nyquist di tale segnale? Se si qual è?

  Formati di trasmissione e registrazione:

  • Dire a cosa sia dovuto l’acronimo “SECAM” dell’omonimo formato TV analogico, e descriverne brevemente il funzionamento.
  • Che sistema di modulazione adotta SECAM? Ci sono differenze rispetto al sistema di modulazione adottato in NTSC e PAL?
  • Quale spazio di colore è utilizzato nel formato TV analogico SECAM? Cosa rappresentano e come sono calcolati i 3 canali di tale spazio di colore?
  • -Quali sono i principali vantaggi e svantaggi del formato TV analogico SECAM?

  Dispositivi, metodi di registrazione e scansione:

  • Descrivere il funzionamento del sistema di scansione con interlacciamento.
  • In presenza di interlacciamento come cambiano le relazione fra larghezza di banda del canale, banda del segnale e frequenza di visualizzazione?
  • L’interlacciamento può introdurre degli artefatti. Quali? Fare un esempio.
  • Quale difetto di visualizzazione può essere invece corretto utilizzando l’interlacciamento?
  • Su quale tipologia di monitor è preferibile utilizzare formati video interlacciati e su quale no? Come si chiama l’alternativa al sistema di scansione con interlacciamento?
• LABORATORIO

  I progetti verteranno sugli argomenti del corso, per cui si potrebbe chiedere l'implementazione di:

  • Algoritmi per il miglioramento della qualità di contenuti multimediali;
  • Algoritmi per l'elaborazione di contenuti audio/immagini/video;
  • Algoritmi per la codifica e compressione di informazioni multimediali;
  • Algoritmi per l'estrazione di informazioni relative alla semantica dei contenuti multimediali;