Digitaalinen media

(1)

Digitaalinen media

Petri Vuorimaa

(2)

Luennon sisältö

•  Mitä on digitaalinen media?

•  Mediatyypit

– Teks;

– Graﬁikka – Audio – Kuva – Video

•  Siirtoformaa;t

30.3.2012 Petri Vuorimaa / Mediatekniikan laitos 2

(3)

Median osuus

2.3. Luento

• Jyry Suvilehto

30.3. Luento

• Petri Vuorimaa

23.3. Luento

• Tapio Takala

16.3. Luento

• Lauri Savioja

Teks;data (XML)

Yksinkertaiset mediatallenteet

(BMP)

Häviölliset tallenteet (.mp3, .jpeg)

Mul;media, video (MPEG,)

Tietokonegraﬁikan perusteet

Todellisuuden peiVäminen (VR)

Todellisuuden lisääminen (AR) Tiedon

tallentamisen perusteet

AD-‐muunnos

(4)

Synteesiosuus

4

SemanZnen web ja avoin yhdisteVy ;eto Tiedon

talleVaminen

Tiedon verkoVuminen

Tietoverkko-‐

liiketoiminta Tiedonsiirto

Digitaalinen media

15.4. Luento Eero Hyvönen

6.5. Luento Sakari Luukkainen

30.3.2012 Petri Vuorimaa / Mediatekniikan laitos

TuoVeiden ja palveluiden kehiVäminen

20.4. Luento Vesa Kantola

(5)

MITÄ ON DIGITAALINEN MEDIA?

(6)

Mitä on digitaalinen media?

•  Tannenbaum:

•  VuorovaikuVeinen ;etokoneavusteinen esitys, joka sisältää vähintään kaksi seuraavista

mediaelementeistä: teks;, ääni, kuva, video ja animaa;o

•  Vuorimaa:

1.  Monta mediaa 2.  Vuorovaikutus 3.  Aika

(7)

Media

(8)

Jatkuva-‐aikainen media

•  Animaa;ot (virtuaalitodellisuus)

•  Audio

•  Video

•  Miten jatkuva-‐aikainen media eroaa tavallisesta mediasta?

(9)

Jatkuvan median käsiVelyvaiheet

Kaappaus Esi-‐

käsiVely A/D-‐

muunnos Pakkaus

Purku D/A-‐

muunnos Jälki-‐

käsiVely Toisto

Siirto

(10)

Vuorovaikutus

•  Vuorovaikutustapa:

– passiivinen, reak;ivinen, proak;ivinen, tuoVava

•  Vuorovaikutuksen taso:

– käyVöliiVymä, sovellus, palvelu, toinen käyVäjä

•  Vuorovaikutuksen määrä:

– ;lausvideo, sähköpos;, videoneuvoVelu, videopeli, virtuaalitodellisuus

(11)

Aika

•  Esityksen komponen;t on sijoiteltu aika-‐

avaruuteen

•  Eri komponen;t on synkronoitu (eli tahdisteVu) keskenään

•  Esitysjärjestelmä tms. huoleh;i, eVä

synkronoin; toteutuu (nk. orkestroin;)

(12)

TEKSTI

12

(13)

Teks;

•  ASCII

•  Teks;dokumen;t

– Microsoe Word, Adobe Acrobat

•  Rakenteiset dokumen;t

– SGML, HTML, XML

•  Hyperteks;

– Hypercards

(14)

GRAFIIKKA

14

(15)

Graﬁikka

•  BiZkarVa-‐graﬁikka

– maalaukset

– Microsoe Paint

•  Vektorigraﬁikka

– piirrokset – OpenGL – Postscript

(16)

AUDIO

16

(17)

Äänen fyysiset ominaisuudet

•  Amplitudi

– dB = 20 log10(A/B) – Kuuloraja on 0 dB ja

kipuraja n. 100-‐120 dB

•  Jakson aika / Taajuus

– Hz = 1/s

– Kuuloalue on n. 20 Hz -‐ 20 kHz

(18)

Pulssikoodimodulaa;o

•  Äänestä otetaan näyVeitä näytetaajuudella

•  Näytetaajuuden pitää olla vähintään kaksi kertaa maksimitaajuus (nk. Nyquist taajuus)

•  Yleisiä näytetaajuuksia 8, 44.1 ja 48 KHz

(19)

Pulssikoodimodulaa;o (jatk.)

•  Signaalin amplitudi näyVeenoVohetkellä muutetaan

numeroarvoksi

– Pulse Code

Modula;on (PCM)

•  NäyVeidenoVo aiheuVaa

kvan;soin;virheen

(20)

Taajuusmuunnos

•  Luonnolliset äänet koostuvat ;etystä perustaajuudesta ja sen harmonisista monikerroista

•  Ääni voidaan tällöin esiVää käteväs; myös taajuusmuodossa

(21)

Klarine;n ääni

(22)

Taajuusmuoto

(23)

Taajuusmuunnos (jatk.)

•  Fourier muunnoksen kertomet esiVävät signaalia taajuus-‐uloVuvuudessa

•  Sta;onaariset signaalit voidaan esiVää tarkas;

Fourier-‐muunnoksen avulla

•  MuuVuvien signaalinen tapauksessa käytetään diskreeZä Fourier-‐muunnosta

•  Yleensä käytetään Fast Fourier Transforma;on (FFT) -‐algoritmia

(24)

Psykoakus;ikka

•  Kuuloais;n ominaisuudet kannaVaa huomioida äänen koodauksessa

•  Ääntä kannaVaa tarkastella taajuusuloVuvuudessa

•  Kuuloraja riippuu taajuudesta

•  Korva on herkkä spektrin laaksoille ja kukkuloille (ns. forman;t)

– esim. vokaalien tunnistus

(25)

Kuuloraja

(26)

Psykoakus;ikka (jatk.)

•  Tietylllä taajuudella esiintyvä ääni nostaa kuulorajaa

laajemmalla

taajuusalueella

Taajuus

Amplitudi

(27)

Pakkausmenetelmät

•  Esim. maskaus-‐efek;ä voidaan hyödyntää koodauksessa

•  Signaali jaetaan taajuusalueisiin, jotka koodataan erikseen (Subband coding)

•  Esim. Mini Disc -‐levyt (Sony), DCC-‐kase;t (Philips) ja MPEG-‐audio

(28)

MP3-‐pakkausalgoritmi

Begin

Subband analysis Scale factor

calcula;on

Coding of scale factors

FFT analysis Calcula;on of masking and required

bit alloca;on

Adjustment to ﬁxed bit-‐rate Determina;on of

nontransmiVed subbands

Quan;za;on of samples Coding of

samples Coding of bit alloca;on FormaZng and

transmission

End

(29)

KUVA

(30)

Kuvan ja videon koodaus

•  Menetelmät voivat olla hukkaavia tai hukkaamaVomia

•  Yleisin hukkaava menetelmä on DCT-‐muunnos

•  Esim. Huﬀman koodaus on hukkaamaton

(31)

Koodausmenetelmät

•  Kuvien koodaus

– JPEG (Joint Photographic Expert Group)

•  Videon koodaus

– H.261, H.263

– MPEG (Mo;on Picture Expert Group)

•  Koodausmenetelmät hyödyntävät yleensä useampi erilaisia koodaustekniikoita

(32)

JPEG -‐ TavoiVeet

•  Kompressiosuhde / kuvanlaatu voidaan valita

•  Sopii mihin tahansa kuviin

•  Sekä ohjelmisto eVä laiVeisto

•  Neljä eri moodia:

– sekven;aalinen koodaus (alkuperäinen järjestys) – progressiivien koodaus (monivaiheinen koodaus) – hukkaamaton koodaus (täydellinen toisto)

– hierarkinen koodaus (monta eri resoluu;ota)

(33)

JPEG -‐ Arkkitehtuurit

•  Hukkaavissa moodeissa käytetään DCT-‐

koodausta 8 x 8 pikselin lohkoille

•  Sekven;aalisessa moodissa lohkojen DCT-‐

kertoimet lähetään lohko kerrallaan

•  Progressiivisessa moodissa kertoimet

talletetaan muis;in ja lähetetään ryhmissä

•  Hierarkisessa moodissa valitaan erilaisia resoluu;ota koodaVavaksi

(34)

Sekven;aalinen JPEG

(35)

Progressiivinen JPEG

(36)

Hierarkinen JPEG

(37)

Hukkaamaton JPEG

(38)

DCT-‐koodaus ja kvan;soin;

  Kertoimet voidaan esiVää matriisina

  Kvan;soin; tehdään kvan;soin;taulukon määräämän taulukon mukaises;

  Kertoimet järjestetään Zig-‐Zag muotoon

  Näin nolla-‐kertoimet saadaan koodin loppuun

  Run-‐Length -‐koodaus eliminoi nollat

(39)

DCT-‐koodaus

(40)

DCT-‐perusfunk;ot

(41)

Tilastollinen koodaus

•  Käytössä joko Huﬀman tai aritmeeZnen koodaus

•  Huﬀman koodaus edellyVää erillistä taulukkoa

•  AritmeeZnen koodaus ei tarvitse taulukkoa, muVa vaa;i enemmän laskentaa

•  Lisäksi aritmeeZsen koodauksen kompressioaste 5 -‐ 10 % parempi

(42)

Hukkaamaton koodaus

•  Hukkaamaton koodaus käyVää ennustusta

•  Käytössä on seitsemän eri vaihtoehtoa

– kuinka monta ja mitä pikseliä käytetään

•  Ennustava koodaus pääsee kompressiosuhteeseen 2:1

(43)

JPEG -‐ Tehokkuus

•  0,25 -‐ 0,5 bpp: kohtalainen -‐ hyvä laatu

•  0,5 -‐ 0,75 bpp: hyvä -‐ eriVäin hyvä laatu

•  0,75 -‐ 1,5 bpp: eriVäin hyvä laatu

•  1,5 -‐ 2,00 bpp: ei erotu alkuperäisestä

(44)

VIDEO

44

(45)

MPEG

•  MuistuVaa JPEG-‐menetelmää

•  Lisäksi huomioitu liikkuvan kuvan ominaisuudet

– Peräkkäisissä kuvissa on vähän eroja – Kuvissa on liikkuvia objekteja

– Kuvasarjat vaihtuvat harvoin

•  Toteutus on tämän takia monimutkaisempi

•  Usein tarvitaan laiVeistototeutusta

(46)

Liikkeenennustus

•  Peräkkäisistä kuvista etsitään muutoskohdat

•  Lohkoille lasketaan liike-‐ennusteet

•  Ennusteita kutsutaan liikevektoreiksi ja ne lähetetään osana koodaVua informaa;ota

(47)

(48)

Erotuskuvat

  Ennustetusta ja todellisesta kuvasta lasketaan erotuskuvat

  Erotuskuvasta lähetetään vain muutoskohdat

  MPEG-menetelmässä hyödynntetään myös ennustusta kahteen suuntaan:

-  I = alkuperäiset kuvat

-  P = eteenpäin ennustus

-  B = ennustus kahteensuuntaan

(49)

MPEG-‐kuvasarja

(50)

SIIRTOFORMAATIT

50

(51)

Siirtoformaa;t

•  Mul;mediasovellusten yhteistoiminta ja siirto verkossa vaa;i yhtenäisiä siirtoformaaVeja

•  SiirtoformaaZ määriVelee:

– ajan, paikan, rakenteen ja toiminnan (proseduurit)

•  Ilman siirtoformaaZa yhdellä sovelluksella tuoteVua sisältöä ei voi lukea ja käyVää

toisella sovelluksella

•  Konversiotyökalut on huono ratkaisu

(52)

Sovellusalueet

•  Yhtenäistä siirtoformaaZa voidaan käyVää moneen tarkoitukseen:

– tallennusformaaZ (esim. Macromedia Director) – siirtoformaaZ (esim. CD-‐ROM)

– reaaliaikainen siirtoformaaZ (esim. digitaalinen tv)

– sovellusten välinen ;edonsiirto (esim. ryhmätyö)

(53)

Vaa;mukset

  Datamalli:

-  aika, synkronoin;, eri formaa;t, osoitus, hyperlinkit,

interak;ivisuus

  Skrip;t:

-  ohjelmoin;kieli tai graaﬁnen ohjelmoin;

  KapasiteeZ:

-  määriVely ei yleensä vie paljon ;laa

  Hakuaika:

-  purku oltava nopeaa, progressiivinen

resoluu;o ym.

  SiirreVävyys:

-  laiVeisto-‐ ja

alustariippumaVomuus

  LaajenneVavuus:

-  uudet formaa;t, atribuu;t jne.

(54)

MHEG

•  ISO:n työryhmä

•  Oliopohjainen mul;-‐ ja hypermedian siirtoformaaZ

•  Tukee interak;ivisuuVa ja reaaliaikaista siirtoa

•  MääriVelee lopullisen esitysmuodon

(55)

Ominaisuudet

•  MääriVelee joukon alustariippumaVomia komponenVeja interak;ivisuuVa varten

•  Interak;ivuus voidaan toteuVaa kahdella tapaa:

– komponen;t linkitetään erilaisiin tapahtumiin – käytetään skriptauskieltä

•  Tapahtumat syntyvät ajoitusmäärityksistä tai käyVäjän toimenpiteistä

(56)

Ominaisuudet (jatk.)

•  Sekä paikallisen eVä ajallisen sijainnin määriVely mahdollista

•  Makrojen avulla voidaan määritellä

monimutkaisia objekteja malleja käyVäen

•  Sisältää myös tukea reaaliaikaista siirtoa varten

(57)

MHEG-‐luokkahierarkia

MH-‐object Behavior Ac;on Link Script

Component Content

Interac;on Selec;on

Modiﬁca;on Composite

Descriptor Macro

Macro Deﬁni;on Macro Use

(58)

HTML

•  HTML on myös siirtoformaaZ

•  Ominaisuudet ovat rajallisia

•  HTML = rakenteinen dokumenZ, linkit

– DOM-‐malli mahdollistaa sisällön muokkauksen

•  ECMAScript (JavaScript) = interak;ivisuus

•  Tyylisivut (Cascading Style Sheets) = sijoiVelu

•  Synkronoin; puuVuu

– SMIL 3.0 External Timing Module

Digitaalinen media