Mul$media Jyry Suvilehto Alkuperäiset kalvot Petri Vuorimaa

(1)

Mul$media

Jyry Suvilehto

Alkuperäiset kalvot Petri Vuorimaa

(2)

Luennon sisältö

•  Mitä on mul$media?

•  Mediatyypit

– Teks$

– Graﬁikka – Audio

– Kuva – Video

•  Siirtoformaa$t

19.3.2010 Petri Vuorimaa / Mediatekniikan laitos 2

(3)

MITÄ ON MULTIMEDIA?

(4)

Mitä on mul$media?

•  Tannenbaum:

•  VuorovaikuLeinen $etokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista

mediaelementeistä: teks$, ääni, kuva, video ja animaa$o

•  Vuorimaa:

1.  Monta mediaa 2.  Vuorovaikutus 3.  Aika

(5)

Media

Media Modaliteetti Dynaamisuus Lähde

Teksti Visuaalinen Kerta Keinotekoinen

Kuva Visuaalinen Kerta Luonnollinen

Grafiikka Visuaalinen Kerta Keinotekoinen

Animaatio Visuaalinen Jatkuva Keinotekoinen

Ääni Auraalinen Jatkuva Luonnollinen/

Keinotekoinen

Video Visuaalinen Jatkuva Luonnollinen

(6)

Jatkuva-‐aikainen media

•  Animaa$ot (virtuaalitodellisuus)

•  Audio

•  Video

•  Miten jatkuva-‐aikainen media eroaa tavallisesta mediasta?

(7)

Jatkuvan median käsiLelyvaiheet

Kaappaus Esi-‐

käsiLely A/D-‐

muunnos Pakkaus

Purku D/A-‐

muunnos Jälki-‐

käsiLely Toisto

Siirto

(8)

Tietokone/soi$n Digitaalinen videokamera

KäsiLelyvaiheet

Kaappaus Esi-‐

käsiLely A/D-‐

muunnos Pakkaus

Purku D/A-‐

muunnos Jälki-‐

käsiLely Toisto

Siirto

(9)

Uudelleenmasteroitu CD

Kaappaus

Esi-‐

käsiLely A/D-‐

muunnos Pakkaus

Kaappaus

Beatles soiLaa 60-‐

luvulla originaalit musiikkinauhalle

Levy-‐yh$ö pyytää 2009 tyypin yhdistämään nauhat uudestan re-‐mastering

YhdisteLy kappale

digitoidaan ja pakataan CD-‐DA-‐formaa^in ja poltetaan levylle

(10)

Vuorovaikutus

•  Vuorovaikutustapa:

– passiivinen, reak$ivinen, proak$ivinen, tuoLava

•  Vuorovaikutuksen taso:

– käyLöliiLymä, sovellus, palvelu, toinen käyLäjä

•  Vuorovaikutuksen määrä:

– $lausvideo, sähköpos$, videoneuvoLelu, videopeli, virtuaalitodellisuus

(11)

Aika

•  Esityksen komponen$t on sijoiteltu aika-‐

avaruuteen

•  Eri komponen$t on synkronoitu (eli

tahdisteLu) keskenään

•  Esitysjärjestelmä tms.

huoleh$i, eLä

synkronoin$ toteutuu (nk. orkestroin$)

(12)

TEKSTI

12

19.3.2010 Petri Vuorimaa / Mediatekniikan laitos

(13)

Teks$

•  ASCII

•  Teks$dokumen$t

– Microsoa Word, Adobe Acrobat

•  Rakenteiset dokumen$t

– SGML, HTML, XML

•  Hyperteks$

(14)

GRAFIIKKA

14

(15)

Graﬁikka

•  Bi^karLa-‐graﬁikka

– maalaukset

– Microsoa Paint

•  Vektorigraﬁikka

– piirrokset – OpenGL – Postscript

(16)

AUDIO

16

(17)

Äänen fyysiset ominaisuudet

•  Amplitudi

– dB = 20 log10(A/B) – Kuuloraja on 0 dB ja

kipuraja n. 100-‐120 dB

•  Jakson aika / Taajuus

– Hz = 1/s

– Kuuloalue on n. 20 Hz -‐ 20 kHz

(18)

Pulssikoodimodulaa$o

•  Äänestä otetaan näyLeitä näytetaajuudella

•  Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus)

•  Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz

(19)

Pulssikoodimodulaa$o (jatk.)

•  Signaalin amplitudi näyLeenoLohetkellä muutetaan

numeroarvoksi

– Pulse Code

Modula$on (PCM)

•  NäyLeidenoLo aiheuLaa

kvan$soin$virheen

(20)

Taajuusmuunnos

•  Luonnolliset äänet koostuvat $etystä perustaajuudesta ja sen harmonisista monikerroista

•  Ääni voidaan tällöin esiLää käteväs$ myös taajuusmuodossa

(21)

Klarine$n ääni

(22)

Taajuusmuoto

(23)

Taajuusmuunnos (jatk.)

•  Fourier muunnoksen kertomet esiLävät signaalia taajuus-‐uloLuvuudessa

•  Sta$onaariset signaalit voidaan esiLää tarkas$

Fourier-‐muunnoksen avulla

•  MuuLuvien signaalinen tapauksessa

käytetään diskree^ä Fourier-‐muunnosta

•  Yleensä käytetään Fast Fourier Transforma$on (FFT) –algoritmia

– Normaali Fourier-‐muunnos O(n^2), FFT O(n log n)

(24)

Psykoakus$ikka

•  Kuuloais$n ominaisuudet kannaLaa huomioida äänen koodauksessa

•  Ääntä kannaLaa tarkastella taajuusuloLuvuudessa

•  Kuuloraja riippuu taajuudesta

•  Korva on herkkä spektrin laaksoille ja kukkuloille (ns. forman$t)

– esim. vokaalien tunnistus

(25)

Kuuloraja

(26)

Psykoakus$ikka (jatk.)

•  Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa

laajemmalla

taajuusalueella

•  Voimakkaampi ääni

“peiLää” heikomman

Taajuus

Amplitudi

(27)

PeiLoilmiö

(masking eﬀect)

•  Korvan simpukka (cochlea) sisältää ais$nsoluja

•  Lähellä olevia taajuuksia ais$vat solut ovat

lähellä toisiaan

•  Vastaava ilmiö ajassa läheisille äänille syntyy syvempänä

keskushermostossa

(28)

Pakkausmenetelmät

•  Esim. maskaus-‐efek$ä voidaan hyödyntää koodauksessa

•  Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding)

•  Esim. Mini Disc -‐levyt (Sony), DCC-‐kase$t (Philips) ja MPEG-‐audio

(29)

MP3-‐pakkausalgoritmi

Begin

Subband analysis Scale factor

calcula$on

Coding of scale factors

FFT analysis Calcula$on of masking and required

bit alloca$on

Adjustment to ﬁxed bit-‐rate Determina$on of

nontransmiLed subbands

Quan$za$on of samples Coding of

samples Coding of bit alloca$on Forma^ng and

transmission

End

(30)

KUVA

30

(31)

Kuvan ja videon koodaus

•  Menetelmät voivat olla hukkaavia tai hukkaamaLomia

•  Yleisin hukkaava menetelmä on DCT-‐muunnos

•  Esim. Huﬀman koodaus on hukkaamaton

(32)

Koodausmenetelmät

•  Kuvien koodaus

– JPEG (Joint Photographic Expert Group)

•  Videon koodaus

– H.261, H.263, H.264

– MPEG (Mo$on Picture Expert Group)

•  Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita

(33)

JPEG -‐ TavoiLeet

•  Kompressiosuhde / kuvanlaatu voidaan valita

•  Sopii mihin tahansa kuviin

•  Sekä ohjelmisto eLä laiLeisto

•  Neljä eri moodia:

– sekven$aalinen koodaus (alkuperäinen järjestys) – progressiivien koodaus (monivaiheinen koodaus) – hukkaamaton koodaus (täydellinen toisto)

– hierarkinen koodaus (monta eri resoluu$ota)

(34)

Kuvanlaadun valinta

4,3 kilotavua 190 kilotavua

(35)

JPEG -‐ Arkkitehtuurit

•  Hukkaavissa moodeissa käytetään DCT-‐koodausta 8 x 8 pikselin lohkoille

•  Sekven$aalisessa moodissa lohkojen DCT-‐

kertoimet lähetään lohko kerrallaan

–  Kuva latautuu “rivi riviltä” (8x8 pikselin pala kerrallaan)

•  Progressiivisessa moodissa kertoimet talletetaan muis$in ja lähetetään ryhmissä

–  Kuva tarkentuu pikkuhiljaa lopulliseksi

•  Hierarkisessa moodissa valitaan erilaisia resoluu$ota koodaLavaksi

–  Ensin pieni kuva, siLen isompi kuva, …, lopullinen

(36)

Sekven$aalinen JPEG

(37)

Progressiivinen JPEG

(38)

Hierarkinen JPEG

(39)

Hukkaamaton JPEG

(40)

DCT-‐koodaus ja kvan$soin$

l  Kertoimet voidaan esiLää matriisina

l  Kvan$soin$ tehdään kvan$soin$taulukon määräämän taulukon mukaises$

l  Kertoimet luetaan Zig-‐Zag -‐järjestyksessä

l  Näin nolla-‐kertoimet saadaan koodin loppuun

l  Run-‐Length -‐koodaus eliminoi nollat

(41)

DCT-‐koodaus

(42)

DCT-‐perusfunk$ot

(43)

Tilastollinen koodaus

•  Käytössä joko Huﬀman tai aritmee^nen koodaus

•  Huﬀman koodaus edellyLää erillistä taulukkoa

•  Aritmee^nen koodaus ei tarvitse taulukkoa, muLa vaa$i enemmän laskentaa

•  Lisäksi aritmee^sen koodauksen kompressioaste 5 -‐ 10 % parempi

(44)

Hukkaamaton koodaus

•  Hukkaamaton koodaus käyLää ennustusta

•  Käytössä on seitsemän eri vaihtoehtoa

– kuinka monta ja mitä pikseliä käytetään

•  Ennustava koodaus pääsee kompressiosuhteeseen 2:1

(45)

JPEG -‐ Tehokkuus

•  0,25 -‐ 0,5 bpp: kohtalainen -‐ hyvä laatu

•  0,5 -‐ 0,75 bpp: hyvä -‐ eriLäin hyvä laatu

•  0,75 -‐ 1,5 bpp: eriLäin hyvä laatu

•  1,5 -‐ 2,00 bpp: ei erotu alkuperäisestä

(46)

VIDEO

46

(47)

MPEG

•  MuistuLaa JPEG-‐menetelmää

•  Lisäksi huomioitu liikkuvan kuvan ominaisuudet

– Peräkkäisissä kuvissa on vähän eroja – Kuvissa on liikkuvia objekteja

– Kuvasarjat vaihtuvat harvoin

•  Toteutus on tämän takia monimutkaisempi

•  Usein tarvitaan laiLeistototeutusta

(48)

Liikkeenennustus

•  Peräkkäisistä kuvista etsitään muutoskohdat

•  Lohkoille lasketaan liike-‐ennusteet

•  Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodaLua informaa$ota

(49)

(50)

Erotuskuvat

l  Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat

l  Erotuskuvasta lähetetään vain muutoskohdat

l  MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan:

-  I = alkuperäiset kuvat

-  P = eteenpäin ennustus

-  B = ennustus kahteensuuntaan

(51)

MPEG-‐kuvasarja

(52)

SIIRTOFORMAATIT

52

(53)

Siirtoformaa$t

•  Mul$mediasovellusten yhteistoiminta ja siirto verkossa vaa$i yhtenäisiä siirtoformaaLeja

•  Siirtoformaa^ määriLelee:

– ajan, paikan, rakenteen ja toiminnan (proseduurit)

•  Ilman siirtoformaa^a yhdellä sovelluksella tuoteLua sisältöä ei voi lukea ja käyLää

toisella sovelluksella

•  Konversiotyökalut on huono ratkaisu

(54)

Sovellusalueet

•  Yhtenäistä siirtoformaa^a voidaan käyLää moneen tarkoitukseen:

– tallennusformaa^ (esim. Macromedia Director) – siirtoformaa^ (esim. CD-‐ROM)

– reaaliaikainen siirtoformaa^ (esim. digitaalinen tv)

– sovellusten välinen $edonsiirto (esim. ryhmätyö)

(55)

Vaa$mukset

l  Datamalli:

-  aika, synkronoin$, eri formaa$t, osoitus, hyperlinkit,

interak$ivisuus

l  Skrip$t:

-  ohjelmoin$kieli tai graaﬁnen ohjelmoin$

l  Kapasitee^:

-  määriLely ei yleensä vie paljon $laa

l  Hakuaika:

-  purku oltava nopeaa, progressiivinen

resoluu$o ym.

l  SiirreLävyys:

-  laiLeisto-‐ ja

alustariippumaLomuus

l  LaajenneLavuus:

-  uudet formaa$t, atribuu$t jne.

(56)

MHEG

•  ISO:n työryhmä

•  Oliopohjainen mul$-‐ ja hypermedian siirtoformaa^

•  Tukee interak$ivisuuLa ja reaaliaikaista siirtoa

•  MääriLelee lopullisen esitysmuodon

(57)

Ominaisuudet

•  MääriLelee joukon alustariippumaLomia komponenLeja interak$ivisuuLa varten

•  Interak$ivuus voidaan toteuLaa kahdella tapaa:

– komponen$t linkitetään erilaisiin tapahtumiin – käytetään skriptauskieltä

•  Tapahtumat syntyvät ajoitusmäärityksistä tai käyLäjän toimenpiteistä

(58)

Ominaisuudet (jatk.)

•  Sekä paikallisen eLä ajallisen sijainnin määriLely mahdollista

•  Makrojen avulla voidaan määritellä

monimutkaisia objekteja malleja käyLäen

•  Sisältää myös tukea reaaliaikaista siirtoa varten

(59)

MHEG-‐luokkahierarkia

MH-‐object Behavior

Ac$on

Link

Script

Component

Content

Interac$on

Selec$on

Modiﬁca$on

Composite

Descriptor Macro

Macro Deﬁni$on

Macro Use

(60)

HTML

•  HTML on myös siirtoformaa^

•  Ominaisuudet ovat rajallisia

•  HTML = rakenteinen dokumen^, linkit

– DOM-‐malli mahdollistaa sisällön muokkauksen

•  ECMAScript (JavaScript) = interak$ivisuus

•  Tyylisivut (Cascading Style Sheets) = sijoiLelu

•  Synkronoin$ puuLuu

– SMIL 3.0 External Timing Module

Mul$media Jyry Suvilehto Alkuperäiset kalvot Petri Vuorimaa

Mul$media

Luennon sisältö

MITÄ ON MULTIMEDIA?

Mitä on mul$media?

Media

Jatkuva-­‐aikainen media

Jatkuvan median käsiLelyvaiheet

KäsiLelyvaiheet

Uudelleenmasteroitu CD

Vuorovaikutus

Aika

TEKSTI

Teks$

GRAFIIKKA

Graﬁikka

AUDIO

Äänen fyysiset ominaisuudet

Pulssikoodimodulaa$o

Pulssikoodimodulaa$o (jatk.)

Taajuusmuunnos

Klarine$n ääni

Taajuusmuoto

Taajuusmuunnos (jatk.)

Psykoakus$ikka

Kuuloraja

Psykoakus$ikka (jatk.)

PeiLoilmiö

Pakkausmenetelmät

MP3-­‐pakkausalgoritmi

KUVA

Kuvan ja videon koodaus

Koodausmenetelmät

JPEG -­‐ TavoiLeet

Kuvanlaadun valinta

JPEG -­‐ Arkkitehtuurit

Sekven$aalinen JPEG

Progressiivinen JPEG

Hierarkinen JPEG

Hukkaamaton JPEG

DCT-­‐koodaus ja kvan$soin$

DCT-­‐koodaus

DCT-­‐perusfunk$ot

Tilastollinen koodaus

Hukkaamaton koodaus

JPEG -­‐ Tehokkuus

VIDEO

MPEG

Liikkeenennustus

Erotuskuvat

MPEG-­‐kuvasarja

SIIRTOFORMAATIT

Siirtoformaa$t

Sovellusalueet

Vaa$mukset

MHEG

Ominaisuudet

Ominaisuudet (jatk.)

MHEG-­‐luokkahierarkia

HTML

Jatkuva-‐aikainen media

MP3-‐pakkausalgoritmi

JPEG -‐ TavoiLeet

JPEG -‐ Arkkitehtuurit

DCT-‐koodaus ja kvan$soin$

DCT-‐koodaus

DCT-‐perusfunk$ot

JPEG -‐ Tehokkuus

MPEG-‐kuvasarja

MHEG-‐luokkahierarkia