1 Estimointi:Mitä opimme? –3/4 Estimointi:Mitä opimme? –4/4 Estimointi:Mitä opimme? –1/4 Estimointi:Mitä opimme? –2/4 Estimointi Estimointi

(1)

TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen

Estimointi

Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet

Estimointi

Estimointi:

Mitä opimme? – 1/4

• Tilastollisen tutkimuksentavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivatreaalimaailman ilmiöitä koskevia havaintoja.

• Tavoitteeseen pyritään rakentamalla tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineelle prosessille tilastollinen malli.

• Koska tilastollisissa tutkimusasetelmissa tutkimuksen kohteena olevia reaalimaailman ilmiöitä koskeviin havaintoihin liittyy aina satunnaisuuttatai epävarmuutta, tilastolliset mallit ovat luonteeltaan todennäköisyysmalleja.

• Tilastollinen malli havainnot generoineelle prosessille on täysin määrätty, jos havaintojentodennäköisyysjakaumatunnetaan.

Estimointi:

• Havaintojen todennäköisyysjakaumanmääräävät jakauman karakteristisia ominaisuuksia kuvaavat parametrit, joiden arvoja ei sovellustilanteessa yleensä tunneta.

• Jos jakauman tuntemattomille parametreille ei löydetä hyviä estimaattejaeli arvioita, jakaumaa ei voida käyttää mallina tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineelle prosessille.

• Tilastollisen tutkimuksen tärkeimpiä osatehtäviä on estimoida eli arvioida tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineen prosessin mallina käytettävän todennäköisyysjakauman tuntemattomat parametrit ilmiötä koskevien havaintojen perusteella.

Estimointi:

• Havaintojen funktiota, joka tuottaa estimaattejaeli arvioita todennäköisyysjakauman tuntemattoman parametrin todelliselle arvolle, kutsutaan parametrin estimaattoriksi.

• Tilastotieteen tärkeimpiä osatehtäviä on hyvien estimaattoreiden johtaminentodennäköisyysjakauman parametreille.

Ks. lukua Estimointimenetelmät.

• Koska todennäköisyysjakauman parametreille voidaan muodostaa erilaisia estimaattoreita, estimaattoreille on esitetty erilaisia hyvyys- kriteereitä, joita käytetään apuna estimaattorin valinnassa.

• Tavalliset vaatimukset hyvälle estimaattorille:

Hyvän estimaattorin on oltava harhaton, tehokas, tyhjentäväja tarkentuva.

Estimointi:

• Todennäköisyysjakauman tuntemattomien parametrien arvojen määräämistäkutsutaan tavallisesti piste-estimoinniksi.

• Jokaiseen todennäköisyysjakauman parametrin estimaattiin on aina syytä liittää luottamusväliksikutsuttu väli, joka sisältää parametrin todellisen arvon, tietyllä, soveltajan valittavissa olevalla todennäköisyydellä.

Ks. lukua Väliestimointi.

(2)

Estimointi:

Esitiedot

• Esitiedot: ks. seuraavia lukuja:

Tilastollisten aineistojen kerääminen ja mittaaminen Tilastollisten aineistojen kuvaaminen

Otos ja otosjakaumat

Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut

Estimointi:

Lisätiedot

• Todennäköisyysjakaumien parametrien estimaattoreiden johtamista käsitellään luvussa

Estimointimenetelmät

• Luottamusvälin määräämistätodennäköisyysjakaumien parametreille käsitellään luvussa

Väliestimointi

• Todennäköisyysjakaumien parametreja koskevien tilastollisten hypoteesien testaamistakäsitellään luvussa

Tilastolliset testit

• Jakaumaoletuksien testaamistakäsitellään luvussa

Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen

>> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet

Estimointi

Avainsanat Estimaatti Estimaattori Estimointi Havainto Havaintoarvo Otosjakauma Parametri Piste-estimointi Tilastollinen aineisto Tilastollinen malli Todennäköisyysjakauma Yksinkertainen satunnaisotos Luottamusväli

Todennäköisyysjakaumien parametrit ja niiden estimointi

Todennäköisyysjakaumien parametrit ja niiden estimointi

Todennäköisyysjakaumat tilastollisten aineistojen kuvaajina

• Tilastollinen aineistokoostuu tutkimuksen kohteita kuvaavien muuttujien havaituista arvoista.

• Tilastollisissa tutkimusasetelmissa havaintoarvoihin liittyy aina epävarmuuttaja satunnaisuutta.

• Tilastollisissa tutkimusasetelmissa tutkimuksen kohteita kuvaavat muuttujat tulkitaan satunnaismuuttujiksi, jotka generoivatmuuttujien havaitut arvot.

• Tilastollinen mallitarkoittaa havaintoarvot generoineiden satunnaismuuttujien todennäköisyysjakaumaa.

Todennäköisyysjakaumien parametrit 1/2

• Tarkastellaan jotakin tutkimuksen kaikkien mahdollisten kohteiden muodostaman perusjoukon Salkioiden ominaisuutta kuvaavaa satunnaismuuttujaa X.

• Oletetaan, että satunnaismuuttuja Xnoudattaa toden- näköisyysjakaumaa, jonka pistetodennäköisyys- tai tiheysfunktio

f(x; θ)

riippuu parametristaθ.

• Merkintä:

~ ( ; ) X f x θ

(3)

Todennäköisyysjakaumien parametrit 2/2

• Satunnaismuuttujan Xpistetodennäköisyys- tai tiheysfunktio

f(x; θ)

kuvaa satunnaismuuttujanX todennäköisyysjakaumaa ja parametri θkuvaa jotakin jakauman karakteristista ominaisuutta.

• Koska parametrin θarvoa ei yleensä tunneta, tilastollisen tutkimuksen tärkeimpiä osatehtäviä on estimoidaeli arvioidaparametrin θtuntematon arvo jakaumasta f(x; θ) poimitun otoksen perusteella.

Yksinkertainen satunnaisotos

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosjakaumasta, jonka pistetodennäköisyys- tai tiheysfunktio f(x; θ) riippuu parametrista θ.

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys-tai tiheysfunktio f(x; θ):

1, 2, ,

~ ( ; ) , 1, 2, ,

n i

X X X

X f x θ i n

⊥

=

…

Havainnot ja havaintoarvot

• Oletetaan, että satunnaismuuttujat (havainnot) X1, X2, … , Xn

saavat poimitussa otoksessahavaituiksi arvoikseenluvut x1, x2, … , xn

• Havaintoarvot x1, x2, … , xn

vaihtelevat satunnaisesti otoksesta toiseenjakaumasta f(x; θ)

saatavin todennäköisyyksin.

Estimaattorit ja estimaatit 1/2

• Oletetaan, että todennäköisyysjakauman f(x; θ) parametrin θestimoimiseenkäytetään satunnaismuuttujien X1, X2, … , Xnfunktiota eli tunnuslukua

T= g(X1, X2, … , Xn)

• Tällöin funktiota T= g(X1, X2, … , Xn) kutsutaan parametrin θestimaattoriksija funktion g havaintoarvoista

x1, x2, … , xn

laskettua arvoa t= g(x1, x2, … , xn)

kutsutaan parametrin θestimaatiksi.

Estimaattorit ja estimaatit 2/2

• Olkoon

T= g(X₁, X₂, … , X_n)

jakauman f(x; θ) parametrin θestimaattori.

• Tällöin estimaattorinThavaintoarvoista x1, x2, … , xn

laskettu arvo eli estimaatti t= g(x1, x2, … , xn)

on satunnaismuuttujan T arvon realisaatio otoksessa.

Estimaattorit ja estimaatit:

Kommentti

• Todennäköisyysjakauman f(x; θ) parametrin θ estimaattorilla

T= g(X1, X2, … , Xn)

tarkoitetaan siis sellaista jakaumaa f(x; θ) noudattavien satunnaismuuttujien

X1, X2, … , Xn

funktiota, joka generoimuuttujien X₁, X₂, … , X_n havaittuihin arvoihin x1, x2, … , xnsovellettuna estimaattejaeli arvioita

t= g(x1, x2, … , xn) parametrille θ.

(4)

Estimaattorin otosjakauma

• Estimaattorin

T= g(X1, X2, … , Xn) havaintoarvoista

x1, x2, … , xn

lasketut arvot eli estimaatit t= g(x1, x2, … , xn)

vaihtelevat satunnaisesti otoksesta toiseen.

• EstimaattorinTarvojen satunnaista vaihtelua otoksesta toiseen voidaan kuvata estimaattorin Totosjakaumalla.

Estimaattoreiden johtaminen

• Hyvien estimaattoreiden johtaminentodennäköisyys- jakaumien tuntemattomille parametreille on teoreettisen tilastotieteen keskeisiä ongelmia.

• Tärkeimmät estimaattoreiden johtamiseen käytettävät menetelmät:

– Suurimman uskottavuuden menetelmä – Momenttimenetelmä

Ks. lukua Estimointimenetelmät.

Piste-estimointi ja väliestimointi

• Todennäköisyysjakauman parametrin arvon estimointia kutsutaan usein piste-estimoinniksi.

• Parametrin estimaattiin on aina syytä liittää luottamus- väliksikutsuttu väli, joka sisältää estimoidun parametrin todellisen, mutta tuntemattoman arvon tietyllä, soveltajan valittavissa olevalla todennäköisyydellä.

• Luottamusvälin määräämistä kutsutaan väliestimoinniksi.

Ks. lukua Väliestimointi.

>> Hyvän estimaattorin ominaisuudet

Estimointi

Avainsanat Estimaattori Harha Harhattomuus Hyvyyskriteeri Keskineliövirhe Parametri Tarkentuvuus Tehokkuus Tyhjentävyys

Hyvän estimaattorin ominaisuudet

Hyvä estimaattori

• Todennäköisyysjakauman parametreille on tavallisesti tarjolla useita vaihtoehtoisia estimaattoreita.

• Estimaattorin valintaa ohjaavat hyvyyskriteerit, joilla pyritään takamaan se, että valittu estimaattori tuottaa järkeviä arvoja estimoitavalle parametrille.

• Estimaattoreiden hyvyyskriteereitä:

– Harhattomuus – Tyhjentävyys – Tehokkuus – Tarkentuvuus

(5)

Harhattomuus ja tyhjentävyys

• Harhattomuus:

EstimaattoriTon parametrin θharhaton estimaattori, jos sen odotusarvo yhtyy parametrin θarvoon:

E(T) = θ

• Tyhjentävyys:

EstimaattoriTon tyhjentäväparametrille θ, jos se käyttää parametrin arvon estimoimiseen kaiken otoksessa olevan informaation.

Tehokkuus ja tarkentuvuus

• Tehokkuus:

EstimaattoriTon parametrin θtehokas estimaattori, jos sen varianssi on pienempi kuin minkä tahansa muun estimaattorin.

• Tarkentuvuus:

EstimaattoriTon parametrin θtarkentuva estimaattori, jos se konvergoimelkein varmasti kohti parametrin oikeata arvoa, kun otoskoon nannetaan kasvaa rajatta:

Pr(T_n→θ) = 1, kun n→+ ∞ Ks. lukua Konvergenssikäsitteet ja raja-arvolauseet.

Estimaattorin harha

• Parametrin θestimaattorin harhaon

• Jos on parametrin θharhatonestimaattori eli

niin

θˆ

ˆ ˆ

Bias( )θ = −θ E( )θ

Bias( ) 0θˆ = θˆ

E( )θˆ =θ

Estimaattorin keskineliövirhe

• Parametrin θestimaattorin keskineliövirheon

• Jos on parametrin θharhatonestimaattori eli

niin

• Estimaattoria sanotaan tarkaksi, jos se on harhatonja sen varianssion pieni.

θˆ

2 2

ˆ ˆ

MSE( ) E ( )

ˆ ˆ

Var( ) Bias( )

θ θ θ

θ θ

 

=  − 

 

= +  

ˆ ˆ

MSE( ) Var( )θ = θ θˆ

ˆ ˆ

Bias( )θ = −θ E( ) 0θ =