1.Video- ja audiosysteemin analyysi Sisältö

(1)

1. Video- ja audiosysteemin analyysi

Sisältö

(2)

8.1.2009 Kuva- ja audiotekniikat / Kari Jyrkkä 2

Video- ja audiosysteemi

(3)

Tehtävät:

1. Missä kuvan 1 kohdissa signaali kulkee analogisena ja missä kohtaa digitaalisena?

2. Missä kuvan 1 kohdissa kuva / ääni signaali kulkee kompressoituna?

3. Mitkä ovat USB, FireWire ja HDMI kaapelien bittinopeudet?

4. Selvitä mitä tarkoittavat

1. HDMI

2. Komponenttivideo 3. S-video

4. Komposiittivideo

5. Selvitä HDMI standardin eri versioiden (HDMI 1.0 – HDMI 1.3b) merkitys/pääsisältö.

Video- ja audiosysteemi

(4)

Linkkejä edellisen kalvon tehtäviä varten:

1. FireWire linkki 2. HD-soittimet 3. AV-vahvistimet

4. yamaha AV-vahvistin 5. HDMI

Video- ja audiosysteemi

(5)

• CCD vs CMOS

• Kuvasensorin laatu

– Dynamic range – Signal to noise

– Low light sensitivity

Kuvasensorit

(6)

1. Historia

2. CCD sensorin rakenne 3. Toiminta

CCD

Kuvasensorit, CCD

(7)

CMOS vs CCD

cmos vs ccd englannin kielinen linkki Canon CMOS kenno

Tehtävä:

Tutustukaa yllä olevan nettilinkin kautta Canon technology osioon ja erityisesti siellä sensor size ja noise reduction osa- alueisiin.

1. Mitä suurella sensorin koolla saavutetaan ? 2. Selvitä fixed pattern ja random noise käsitteet.

3. Miten fixed pattern ja random noise poistetaan Canonin kuvasensoreissa?

Kuvasensorit, CMOS

(8)

Lue annettu materiaali ja vastaa seuraaviin kysymyksiin:

1. Selitä CCD ja CMOS kennon toimintaperiaatteet

2. Millaisia sensorien ominaisuuksia (8 kpl) materiaali luettele?

3. Selitä ominaisuudet, mitä ne tarkoittavat?

Tehtävä

(9)

Miten sitten värikuvat otetaan???

Kotitehtävä

(10)

Kuvien interpolointi

Kuvan skaalaus

(11)

• Ei pelkästään koodekki vaan kyse on pitkälti ohjelmistoarkkitehtuurista.

• Mitä sitten ohjelmistoarkkitehtuuri on ja mihin sillä pyritään?

MPEG4 tutorial MPEG esitelmä

Lisää MPEG4 materiaalia

MPEG4 / AVCHD / H.264

(12)

Tehtävä:

Lue Why, What, How and When dokumentista WHY osuus ja vastaa seuraaviin kysymyksiin:

1. Mikä on television paradigm ja miksi se ei enää riitä?

2. Miksi MPEG4 standardi tarvitaan? Luettele asioita jotka tarvitsevat parempaa tukea kuin mitä MPEG2 voi tarjota.

3. Mitkä 3 teknologia-aluetta ovat lähentymässä toisiaan?

MPEG4 / AVCHD

(13)

Tehtävä:

Lue Why, What, How and When dokumentista WHAT osuus ja vastaa seuraaviin kysymyksiin:

1. Selitä omin sanoin, mitä eri ominaisuuksia standardilta vaaditaan.

2. Selitä mitä hyötyä objekteista on.

3. Miten MPEG4 standardi on joustavampi kuin MPEG2?

MPEG4 / AVCHD

(14)

Tehtävä:

Lue Why, What, How and When dokumentista HOW osuus ja vastaa seuraaviin kysymyksiin:

1. Selitä mikä on verification model ja miten sitä käytettiin MPEG4 standardoinnin yhteydessä.

2. Selitä mitä olivat core experiments ja miten niitä käytettiin MPEG4 standardoinnin yhteydessä.

MPEG4 / AVCHD

(15)

Tehtävä:

Lue MPEG Systems: Overview ja vastaa seuraaviin kysymyksiin:

1. Mitkä ovat kuvan 2 (MPEG-4 Systems Architecture) kerrokset ja mikä on niiden tehtävä?

MPEG4 / AVCHD

(16)

Tehtävä:

Lue Delivery layer in MPEG-4 –dokumentti ja vastaa seuraaviin kysymyksiin:

1. Selitä kuva 3 (DMIF communication architecture) omin sanoin

MPEG4 / AVCHD

(17)

Cell Architecture explained

Kuva- ja audiosignaalien prosessorit

(18)

Näyttelijät (osat):

• Ohjelmamuisti ja ohjelmalaskuri

• Käskynselittäjä (=käskydekooderi)

• Datamuisti

• Rekisterit (3 kappaletta)

• Laskin (=ALU Arithmetic Logic Unit)

• Kello

Prosessorin toiminta ”näytelmä”

(19)

Ohjelmamuistin sisältö 0: Nollataan rekisteri 1 1: Rekisteri 2 = rekisteri 1 2: Rekisteri 3 = rekisteri 1

3: Rekisteri 1 = loop_counter = 3

4: Rekisteri 2 = data_muistinosoite = 1

5: Rekisteri 3 = hae luku rekisterin 2 osoittamasta datamuistipaikasta 6: Rekisteri 2 = 0

7: Lasketaan rekisteri 3 + rekisteri 2 ja sijoitetaan tulos rekisteriin 2 8: Lasketaan rekisteri 1 – luku 1 ja sijoitetaan tulos rekisteriin 1 9: Jos rekisteri 1 > 0, niin ohjelmalaskuri = 7

10: Rekisteri 3 = datamuistin osoite = 0

11: talleta rekisterin 2 sisältö rekisterin 3 osoittamaan paikkaan datamuistissa.

Prosessorin toiminta ”näytelmä”

(20)

Ohjelmamuistin sisältö 0: Nollataan rekisteri 1 1: Rekisteri 2 = rekisteri 1 2: Rekisteri 3 = rekisteri 1

3: Rekisteri 1 = loop_counter = 3

4: Rekisteri 2 = data_muistinosoite = 1

5: Rekisteri 3 = hae luku rekisterin 2 osoittamasta datamuistipaikasta 6: Rekisteri 2 = 0

7: Lasketaan rekisteri 3 + rekisteri 2 ja sijoitetaan tulos rekisteriin 2 8: Lasketaan rekisteri 1 – luku 1 ja sijoitetaan tulos rekisteriin 1 9: Jos rekisteri 1 > 0, niin ohjelmalaskuri = 7

10: Rekisteri 3 = datamuistin osoite = 0

11: talleta rekisterin 2 sisältö rekisterin 3 osoittamaan paikkaan datamuistissa.

Prosessorin toiminta ”näytelmä”

Datamuistin sisältö:

0: 0 1: 5 2: 0

(21)

Entä, jos edellinen FOR luuppirakenne tehtäisiinkin ”rauta” toteutuksena?

Piirrä tilakone, joka lukee ”rauta” modulin rekisteri interfacesta seuraavat tiedot:

1. FOR luupin kierrosten lukumäärä 2. Luupissa summattavan luvun arvo

Ja tulostaa summan tuloksen rekisterin interfacen kolmanteen rekisteriin.

Tehtävä:

(22)

MPEG2 spatial (intra) ja temporal (inter) redundancy Mitä nämä olivatkaan????

Ja millä menetelmillä redundancy = toiste poistetaan????

MPEG2, MPEG4, AVC…

(23)

MPEG2, MPEG4, AVC…

Tehtävä: Mitä haittaa difference (erosignaaleista) on TV:n kanavan vaihdossa?

(24)

MPEG2, MPEG4, AVC…

Tehtäviä:

1. Mitä alla oleva lohkokaavio esittää? Selitä toiminta.

2. Lohkokaavio on yksinkertaistettu. Siitä puuttuu esim DCT lohko, mihin se kuuluu?

3. Mitä tapahtuu, jos vain osa koodattavan makroblokin pikseleistä on liikkeessä ja toinen osa on vakiona pysyvää taustaa?

(25)

MPEG2, MPEG4, AVC…

Tehtäviä:

Lue annettu materiaali Bi-directional koodauksesta ja vastaa kysymyksiin

• Millaisessa tapauksessa Bi-directional koodauksesta on hyötyä?

• Mitä ovat I,P,B makroblokit?

• Miksi Bi-directional koodaus lisää viivettä dekooderin kuvaan?

(26)

MPEG2, MPEG4, AVC…

Edellä kuvatut ennustustulokset (P,B makroblokit) poistavat temporal (eri aikoina otettujen kuvien välistä) redundanssia.

Miten redundanssia voitaisiin vieläkin vähentää koodatusta kuvasta???

(27)

MPEG2, MPEG4, AVC…

Elementary stream, mitä se on????

(28)

MPEG2, MPEG4, AVC…

Miten MPEG4 ja AVC koodaus poikkeavat MPEG2:sta???

(29)

MPEG2, MPEG4, AVC…

Miten MPEG4 ja AVC koodaus poikkeavat MPEG2:sta???