1 Estimointimenetelmät:Mitä opimme? –3/3 Estimointimenetelmät:Esitiedot Estimointimenetelmät:Mitä opimme? –1/3 Estimointimenetelmät:Mitä opimme? –2/3 Estimointimenetelmät Estimointimenetelmät

(1)

TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen

Estimointimenetelmät

Todennäköisyysjakaumien parametrien estimointi Momenttimenetelmä

Normaalijakauman parametrien estimointi Eksponenttijakauman parametrien estimointi Bernoulli-jakauman parametrien estimointi Suurimman uskottavuuden menetelmä

Normaalijakauman parametrien estimointi Eksponenttijakauman parametrien estimointi Bernoulli-jakauman parametrien estimointi

Estimointimenetelmät:

Mitä opimme? – 1/3

• Tilastollisen tutkimuksentavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivatreaalimaailman ilmiöitä koskevia havaintoja.

• Tavoitteeseen pyritään rakentamalla tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineelle prosessille tilastollinen malli.

• Koska tilastollisissa tutkimusasetelmissa tutkimuksen kohteena olevia reaalimaailman ilmiöitä koskeviin havaintoihin liittyy aina satunnaisuuttatai epävarmuutta, tilastolliset mallit ovat luonteeltaan todennäköisyysmalleja.

• Tilastollinen malli havainnot generoineelle prosessille on täysin määrätty, jos havaintojentodennäköisyysjakaumatunnetaan.

• Havaintojen todennäköisyysjakaumanmääräävät jakauman karakteristisia ominaisuuksia kuvaavat parametrit, joiden arvoja ei sovellustilanteessa yleensä tunneta.

• Jos jakauman tuntemattomille parametreille ei löydetä hyviä estimaattejaeli arvioita, jakaumaa ei voida käyttää mallina tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineelle prosessille.

• Tilastollisen tutkimuksen tärkeimpiä osatehtäviä on estimoida eli arvioida tutkimuksen kohteena olevaa ilmiötä koskevat havainnot generoineen prosessin mallina käytettävän todennäköisyysjakauman tuntemattomat parametrit ilmiötä koskevien havaintojen perusteella;

ks. lukua Estimointi.

• Havaintojen funktiota, joka tuottaa estimaattejaeli arvioita todennäköisyysjakauman tuntemattoman parametrin todelliselle arvolle, kutsutaan parametrin estimaattoriksi.

• Tilastotieteen tärkeimpiä osatehtäviä on hyvien estimaattoreiden johtaminentodennäköisyysjakauman parametreille.

• Parametrien estimaattoreiden johtamiseen käytetään tavallisesti joko suurimman uskottavuuden menetelmäätai momenttimenetelmää.

• Todennäköisyysjakauman tuntemattomien parametrien arvojen määräämistäkutsutaan tavallisesti piste-estimoinniksi.

• Jokaiseen todennäköisyysjakauman parametrin estimaattiin on aina syytä liittää luottamusväliksikutsuttu väli, joka sisältää parametrin todellisen arvon, tietyllä, soveltajan valittavissa olevalla todennäköisyydellä; ks. lukua Väliestimointi.

Esitiedot

• Esitiedot: ks. seuraavia lukuja:

Tilastollisten aineistojen kerääminen ja mittaaminen Tilastollisten aineistojen kuvaaminen

Otos ja otosjakaumat Estimointi

Satunnaismuuttujat ja todennäköisyysjakaumat Jakaumien tunnusluvut

Diskreettejä jakaumia Jatkuvia jakaumia

(2)

Lisätiedot

• Luottamusvälin määräämistätodennäköisyysjakaumien parametreille käsitellään luvussa

Väliestimointi

• Todennäköisyysjakaumien parametreja koskevien tilastollisten hypoteesien testaamistakäsitellään luvussa

Tilastolliset testit

• Jakaumaoletuksien testaamistakäsitellään luvussa

Yhteensopivuuden, homogeenisuuden ja riippumattomuuden testaaminen

>> Todennäköisyysjakaumien parametrien estimointi Momenttimenetelmä

Avainsanat Estimaatti Estimaattori Estimointi Havainto Havaintoarvo Otosjakauma Parametri Tilastollinen aineisto Tilastollinen malli Todennäköisyysjakauma Yksinkertainen satunnaisotos

Todennäköisyysjakaumien parametrien estimointi

Todennäköisyysjakaumat tilastollisten aineistojen kuvaajina

• Tilastollinen aineistokoostuu tutkimuksen kohteita kuvaavien muuttujien havaituista arvoista.

• Tilastollisissa tutkimusasetelmissa havaintoarvoihin liittyy aina epävarmuuttaja satunnaisuutta.

• Tilastollisissa tutkimusasetelmissa tutkimuksen kohteita kuvaavat muuttujat tulkitaan satunnaismuuttujiksi, jotka generoivatmuuttujien havaitut arvot.

• Tilastollinen mallitarkoittaa havaintoarvot generoineiden satunnaismuuttujien todennäköisyysjakaumaa.

Todennäköisyysjakaumien parametrit 1/2

• Tarkastellaan jotakin tutkimuksen kaikkien mahdollisten kohteiden muodostaman perusjoukon Salkioiden ominaisuutta kuvaavaa satunnaismuuttujaa X.

• Oletetaan, että satunnaismuuttuja Xnoudattaa toden- näköisyysjakaumaa, jonka pistetodennäköisyys- tai tiheysfunktio

f(x; θ)

riippuu parametristaθ.

• Merkintä:

~ ( ; ) X f x θ

Todennäköisyysjakaumien parametrit 2/2

• Satunnaismuuttujan Xpistetodennäköisyys- tai tiheysfunktio

f(x; θ)

kuvaa satunnaismuuttujanX todennäköisyysjakaumaa ja parametri θkuvaa jotakin jakauman karakteristista ominaisuutta.

• Koska parametrin θarvoa ei yleensä tunneta, tilastollisen tutkimuksen tärkeimpiä osatehtäviä on estimoidaeli arvioidatuntemattomalle parametrille θsopiva arvo jakaumasta f(x; θ) poimitun otoksen perusteella.

(3)

Yksinkertainen satunnaisotos

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosjakaumasta, jonka pistetodennäköisyys- tai tiheysfunktio f(x; θ) riippuu parametrista θ.

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys-tai tiheysfunktio f(x; θ):

1, 2, ,

~ ( ; ) , 1, 2, ,

n i

X X X

X f x θ i n

⊥

=

…

Havainnot ja havaintoarvot

• Oletetaan, että satunnaismuuttujat (havainnot) X1, X2, … , Xn

saavat poimitussa otoksessahavaituiksi arvoikseenluvut x1, x2, … , xn

• Havaintoarvot x1, x2, … , xn

vaihtelevat satunnaisesti otoksesta toiseenjakaumasta f(x; θ)

saatavin todennäköisyyksin.

Estimaattorit ja estimaatit 1/2

• Oletetaan, että todennäköisyysjakauman f(x; θ)

parametrinθestimoimiseenkäytetään satunnaismuuttujien X1, X2, … , Xnfunktiota eli tunnuslukua

T= g(X1, X2, … , Xn)

• Tällöin funktiota T= g(X1, X2, … , Xn) kutsutaan parametrin θestimaattoriksija havaintoarvoista

x1, x2, … , xn

laskettua funktion garvoa t= g(x1, x2, … , xn)

kutsutaan parametrin θestimaatiksi.

Estimaattorit ja estimaatit 2/2

• Olkoon

T= g(X1, X2, … , Xn)

jakauman f(x; θ) parametrin θestimaattori.

• Tällöin estimaattorinThavaintoarvoista x1, x2, … , xn

laskettu arvo eli estimaatti t= g(x1, x2, … , xn)

on satunnaismuuttujan T arvon realisaatio otoksessa.

Estimaattoreiden johtaminen

• Hyvien estimaattoreiden johtaminentodennäköisyys- jakaumien tuntemattomille parametreille on teoreettisen tilastotieteen keskeisiä ongelmia.

• Tässä luvussa esitellään seuraavat estimaattoreiden johtamiseen käytettävät menetelmät:

– Momenttimenetelmä

– Suurimman uskottavuuden menetelmä

• Estimointimenetelmistä tärkein on suurimman uskottavuuden menetelmä, mutta seuraavassa käsitellään ensin momenttimenetelmää.

Piste-estimointi ja väliestimointi

• Todennäköisyysjakauman parametrin arvon estimointia kutsutaan usein piste-estimoinniksi.

• Parametrin estimaattiin on aina syytä liittää luottamus- väliksikutsuttu väli, joka sisältää estimoidun parametrin todellisen, mutta tuntemattoman arvon tietyllä, soveltajan valittavissa olevalla todennäköisyydellä.

• Luottamusvälin määräämistä kutsutaan väliestimoinniksi;

ks. lukua Väliestimointi.

(4)

>> Momenttimenetelmä

Avainsanat Bernoulli-jakauma Eksponenttijakauma Momenttiestimaattori Momenttimenetelmä Normaalijakauma

Momenttimenetelmä

Momentit

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosjakaumasta f(x; θ), jonka parametrinaon p-vektori

θ= (θ1, θ2, … , θp)

• Oletetaan, että jakaumalla f(x; θ) on kaikki (origo-) momentitkertalukuun psaakka (ks. lukua Jakaumien tunnusluvut):

E(Xi^k)=αk,k=1, 2, , ,… p i=1,2, ,…n

Parametrien ja momenttien yhteys 1/2

• Oletetaan, että momenttien α1, α2, … , αp

ja parametrien θ1, θ2, … , θp

välillä on jatkuva bijektioeli kääntäen yksikäsitteinen kuvaus:

1 1 1 2

2 2 1 2

1 2

( , , , ) ( , , , ) (1)

( , , , )

p p

p p p

g g g

α θ θ θ

 =

 =

 =



…

Parametrien ja momenttien yhteys 2/2

• Tällöin parametrit θ1, θ2, … , θp

voidaan esittää momenttien α1, α2, … , αp

funktioina:

1 1 1 2

2 2 1 2

1 2

( , , , ) ( , , , ) (2)

( , , , )

p p

p p p

h h h

θ α α α

 =

 =

 =

…

Momenttiestimaattorit

• Estimoidaan momentit α1, α2, … , αpvastaavilla otos- momenteilla(ks. lukua Tilastollisten aineistojen kuvaaminen):

• Sijoittamalla estimaattorita1, a2, … , apmomenttien α1, α2, … , αppaikalle yhtälöihin (2), saadaan para- metrienθ₁, θ₂, … , θ_pmomenttiestimaattoriteli MM-estimaattorit

1

1 ⁿ k

k i

i

a X

n=

=

∑

1 1 1 2

2 2 1 2

1 2

ˆ ( , , , )

(3)

ˆ ( , , , )

p p

p p p

h a a a

θ θ θ

 = =



 =

…

(5)

Kommentteja

• Monet todennäköisyysjakaumat on parametroitu jakauman(origo-) momenteillatai keskusmomenteilla:

(i) Jos jakauman parametreina on jakauman (origo-) momentteja, vastaavat otosmomentitovat ko.

parametrien momenttiestimaattoreita.

(ii) Jos jakauman parametreina on jakauman keskus- momentteja, vastaavat otoskeskusmomentitovat ko.

parametrien momenttiestimaattoreita.

Momenttiestimaattoreiden ominaisuudet

• Olkoon X1, X2, … , Xnyksinkertainen satunnaisotos jakaumasta fX(x; θ), jonka parametrinaon θ.

• Olkoon parametrin θmomenttiestimaattorieli MM- estimaattori.

• Hyvä estimaattori on harhaton, tyhjentävä, tehokasja tarkentuva(ks. lukua Estimointi).

• MM-estimaattori ei välttämättä täytä hyvän estimaattorin kriteereitä, joten momenttimenetelmää käytettäessä on aina erikseen varmistettava tuloksena saadun estimaattorin hyvyys.

θˆ

Momenttimenetelmä vs

suurimman uskottavuuden menetelmä

• Momenttimenetelmä ja suurimman uskottavuuden menetelmä eivät välttämättä tuota samoja estimaattoreita todennäköisyysjakauman parametreille.

• Monissa alkeellisissa tilanteissa menetelmät tuottavat kuitenkin samat estimaattorit.

• Momenttimenetelmä on menetelmistä vanhempi ja sen taustalla on naiivi analogia-periaate: Estimoidaan teoreettiset momentit vastaavilla otossuureilla.

• Suurimman uskottavuuden menetelmä on hyvin pitkälti syrjäyttänytmomenttimenetelmän estimaattoreiden johtamisessa.

Esimerkkejä 1/2

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosjakaumasta f(x; θ), jonka parametrinaon θ.

• Tarkastellaan seuraavien jakaumien parametrien

MM-estimointia eli estimointia momenttimenetelmällä (ks.

lukuja Diskreettejä jakaumiaja Jatkuvia jakaumia):

– Normaalijakauma – Eksponenttijakauma – Bernoulli-jakauma

• Huomautuksia:

– Normaalijakauman, eksponenttijakauman ja Bernoulli-jakauman parametrien estimointia suurimman uskottavuuden menetelmällä tarkastellaan myöhemmin tässä esityksessä.

– Normaalijakauman, eksponenttijakauman ja Bernoulli-jakauman tapauksessa momenttimenetelmä ja suurimman uskottavuuden menetelmä tuottavat parametreille samat estimaattorit.

– Estimaattoreiden ominaisuuksia käsitellään suurimman uskottavuuden menetelmän soveltamisen yhteydessä.

Normaalijakauman parametrien estimointi momenttimenetelmällä

Normaalijakauma ja sen parametrointi

• Satunnaismuuttuja Xnoudattaa normaalijakaumaa N(µ, σ²), jos sen tiheysfunktioon

• Normaalijakauman parametreinaovat jakauman odotusarvo

ja varianssi

2

2 1 1

( ; , ) exp

2 2

, 0

f xµ σ x µ

σ π σ

µ σ

  −  

= −   

 

 

−∞ < < +∞ >

E( )X =µ Var( )X =σ2

(6)

Normaalijakauman parametrien ja momenttien yhteys

• Määritellään satunnaismuuttujan X1. ja 2. momentti kaavalla

• Normaalijakauman parametrien µja σ²sekä momenttien α₁ja α₂välillä on seuraava bijektio:

(i) Parametrit lausuttuina momenttien funktioina:

(ii) Momentit lausuttuina parametrien funktioina:

1

2 2 2 2 2

2 1

E( )

Var( ) E[( ) ] E( ) X

X X X

µ α

σ µ µ α α

= =



= = − = − = −



1

2 2 2

2

E( ) E( )

X X

α µ

α σ µ

= =



= = +



E( ^k) , 1, 2

k X k

α = =

Otos normaalijakaumasta

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosnormaalijakaumasta N(µ, σ²)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa normaalijakaumaa

N(µ, σ²)

noudattavia satunnaismuuttujia.

Normaalijakauman parametrien momenttiestimaattorit 1/2

• Määritellään havaintojen X₁, X₂, … , X_n1. ja 2.

otosmomenttikaavalla

• Siten normaalijakauman N(µ, σ²) parametrien µja σ² MM-estimaattoriteli momenttiestimaattoritovat

1 1

2 2 2 2

2 1 1

1

ˆ 1 ˆ 1

n i i

a X

n

a a X a

n µ

σ

=

 = =



 = − = −



∑

1

1 , 1, 2

n k

k i

i

a X k

n =

=

∑

=

Normaalijakauman parametrien momenttiestimaattorit 2/2

• Odotusarvon µmomenttiestimaattori

on havaintojen X1, X2, … , Xnaritmeettinen keskiarvo.

• Varianssin σ²momenttiestimaattori

on havaintojen X1, X2, … , Xnotosvarianssieli 2. keskusmomentti.

2 2 2 2 2

2 1 2

1 1

ˆ ⁿ i ⁿ ( i )

i i

a a X X X X m

n n

σ

= =

= − =

∑

− =

∑

− =

1 1

ˆ 1 ⁿ i

i

a X X

µ n

=

= =

∑

=

Eksponenttijakauman parametrien estimointi momenttimenetelmällä

Eksponenttijakauma ja sen parametrointi

• Satunnaismuuttuja Xnoudattaa eksponenttijakaumaa Exp(λ), jos sen tiheysfunktioon

• Eksponenttijakauman ainoa parametri

voidaan tulkita sopivat ehdot toteuttavassa jono- tapahtumassa 1. tapahtuman odotusajaksitai tapahtuma- intensiteetiksi.

( ; ) exp( ) , 0 , 0

f xλ =λ −λx x≥ λ>

1 E( )X λ=

Eksponenttijakauman parametrin ja 1. momentin yhteys

• Määritellään satunnaismuuttujan X1. momenttikaavalla

• Eksponenttijakauman parametrin λja 1. momentin α1

välillä on seuraava bijektio:

(i) Parametri λlausuttuna momentin α₁funktiona:

(ii) Momentti α1lausuttuna parametrin λfunktiona:

1 E( )X

α =

1

1 1

E( )X λ⁼ ⁼α

1

E( )X 1 α ⁼ ⁼λ

(7)

Otos eksponenttijakaumasta

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotoseksponenttijakaumasta Exp(λ)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa eksponenttijakaumaa

Exp(λ)

Eksponenttijakauman parametrin momenttiestimaattori

• Määritellään havaintojen X1, X2, … , Xn1. otosmomentti kaavalla

• Siten eksponenttijakauman Exp(λ) parametrin λ MM-estimaattorieli momenttiestimaattorion

jossa

1

1 1

ˆ a X

λ= =

X=a1 1

1

1 ⁿ

i i

a X

n =

=

∑

Bernoulli-jakauman parametrien estimointi momenttimenetelmällä

Bernoulli-jakauma ja sen parametrointi

• Olkoon A tapahtuma, jonka todennäköisyys on p:

Pr(A) = p

• Määritellään satunnaismuuttuja Xseuraavasti:

• Satunnaismuuttuja Xnoudattaa Bernoulli-jakaumaa Ber(p) ja sen pistetodennäköisyysfunktioon

• Bernoulli-jakauman ainoa parametri pyhtyy jakauman odotusarvoon:

p= E(X)

( ; ) ^x(1 )1^x, 0,1; 0 1 f x p =p −p ⁻ x= < <p

1, jos tapahtuu 0, jos ei tapahdu X A

A

= 



Bernoulli-jakauman odotusarvoparametrin ja 1. momentin yhteys

• Määritellään satunnaismuuttujan X1. momenttikaavalla

• Bernoulli-jakauman odotusarvoparametrin pja 1. momentin α₁välillä on seuraava bijektio:

(i) Parametri plausuttuna momentin α1funktiona:

p= E(X) = α1

(ii) Momentti α1lausuttuna parametrin pfunktiona:

α1= E(X) = p

1 E( )X

α =

Otos Bernoulli-jakaumasta

• Olkoon

X₁, X₂, … , X_n

yksinkertainen satunnaisotosBernoulli-jakaumasta Ber(p)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa Bernoulli-jakaumaa

Ber(p)

Bernoulli-jakauman odotusarvoparametrin momenttiestimaattori 1/2

• Määritellään havaintojen X1, X2, … , Xn1. otosmomentti kaavalla

• Siten Bernoulli-jakauman Ber(p) odotusarvoparametrin p MM-estimaattorieli momenttiestimaattorion jossa

ˆ 1

p a= =X

X=a1 1

1

1 ⁿ

i i

a X

n =

=

∑

(8)

Bernoulli-jakauman odotusarvoparametrin momenttiestimaattori 2/2

• Koska

niin

jossa fon tapahtuman A frekvenssiotoksessa.

• Siten Bernoulli-jakauman odotusarvoparametrin p momenttiestimaattori

on tapahtuman A suhteellinen frekvenssi¹ otoksessa.

ˆ 1 ⁿ i i

p X f

n = n

=

∑

=

1, jos tapahtuu 0, jos ei tapahdu

i

X A

A

= 



1 n

i i

X f

=

∑

=

Todennäköisyysjakaumien parametrien estimointi Momenttimenetelmä

>> Suurimman uskottavuuden menetelmä Normaalijakauman parametrien estimointi Eksponenttijakauman parametrien estimointi Bernoulli-jakauman parametrien estimointi

Avainsanat Bernoulli-jakauma Eksponenttijakauma Normaalijakauma Suurimman uskottavuuden

estimaattori Suurimman uskottavuuden

menetelmä

Suurimman uskottavuuden menetelmä

Uskottavuusfunktio 1/2

• Olkoon X₁, X₂, … , X_nyksinkertainen satunnaisotos jakaumasta f(x; θ), jonka parametrinaon θ.

• Koska havainnot X1, X2, … , Xnon oletettu tässä riippumattomiksi, niiden yhteisjakauman piste- todennäköisyys-tai tiheysfunktioon

jossa

on havaintoon X_iliittyvä pistetodennäköisyys- tai tiheysfunktio.

1 2

( , , , ; )

( ; ) ( ; ) ( ; )

n

f x x x

f x f x f x

θ

θ θ θ

= × × ×

…

( ; ) ,i 1,2, , f x θ i= …n

Uskottavuusfunktio 2/2

• Otoksen X1, X2, … , Xnuskottavuusfunktio on havaintojen

X₁, X₂, … , X_n

yhteisjakauman pistetodennäköisyys-tai tiheysfunktion f arvo pisteessä

x1, x2, … , xn

tulkittuna parametrinθarvojen funktioksi.

• Huomautus:

Uskottavuusfunktio Lsisältääkaiken informaation otoksesta.

1 2 1 2

( ; , , , )n ( , , , n; ) Lθ x x …x =f x x …x θ

Suurimman uskottavuuden estimaattori 1/2

• Olkoon

parametrin θarvo, joka maksimoi uskottavuusfunktion parametrin θsuhteen.

• Huomautus:

Uskottavuusfunktion Lmaksimin antava parametrin θarvo t on muuttujien (havaintoarvojen) x1, x2, … , xnfunktio.

1 2

( , , , )n

t=g x x …x

1 2

( ; , , , )_n Lθ x x …x

(9)

Suurimman uskottavuuden estimaattori 2/2

• Sijoittamalla uskottavuusfunktion Lmaksimin parametrin θsuhteen antavassa lausekkeessa

muuttujien x1, x2, … , xn

paikalle havainnot X1, X2, … , Xn

saadaan parametrin θsuurimman uskottavuuden estimaattorieli SU-estimaattori

1 2

ˆ g X X( , , ,Xn)

θ= …

1 2

( , , , )n

t=g x x … x

Kommentteja

• Parametrin θsuurimman uskottavuuden estimaattori tuottaa parametrille θarvon, joka maksimoi poimitun otokseneli saatujen havaintoarvojen uskottavuuden (todennäköisyyden).

• Parametrin θsuurimman uskottavuuden estimaattorin otoskohtainen arvo maksimoi todennäköisyyden saada juuri se otos, joka on saatu.

θˆ

SU-estimaattorin määrääminen 1/2

• Parametrin θsuurimman uskottavuuden estimaattori määrätään maksimoimalla uskottavuusfunktio parametrin θsuhteen.

• Kaikissa säännöllisissä tapauksissa maksimi löydetään merkitsemällä uskottavuusfunktion L(θ) derivaatta

L´(θ)

nollaksija ratkaisemalla θsaadusta normaaliyhtälöstä L´(θ) = 0

1 2

( ) ( ; , , , )n

Lθ =Lθ x x …x

SU-estimaattorin määrääminen 2/2

• Jos parametrin θarvo

tuottaa uskottavuusfunktion L(θ) maksimin, parametrin θ suurimman uskottavuuden estimaattorion

jossa X1, X2, … , Xnon yksinkertainen satunnaisotos siitä jakaumasta, johon uskottavuusfunktio L(θ) liittyy.

1 2

( , , , )n

t=g x x …x

1 2

ˆ g X X( , , ,Xn)

θ= …

Logaritminen uskottavuusfunktio 1/3

• Uskottavuusfunktion maksimin löytämistä

helpottaa tavallisesti siirtyminen tutkimaan logaritmista uskottavuusfunktiota(uskottavuusfunktion logaritmia):

• Huomautus:

Logaritminen uskottavuusfunktio saavuttaa ääriarvonsa samassa pisteessäkuin uskottavuusfunktio, koska logaritmi on aidosti monotoninen funktio.

( ) log ( ) lθ = Lθ

• Koska havainnot X1, X2, … , Xnoletettiin tässä

riippumattomiksi, logaritminen uskottavuusfunktiovoidaan kirjoittaa seuraavaan muotoon:

jossa

l(θ; x_i) = logf(x_i; θ) , i= 1, 2, … , n

on havaintoarvoon x_iliittyvä logaritminen uskottavuusfunktio.

(

1 2

)

1 2

( ) log ( )

log ( ; ) ( ; ) ( ; )

log ( ; ) log ( ; ) log ( ; )

( ; ) ( ; ) ( ; )

n n n

l L

f x f x f x

l x l x l x

θ θ

θ θ θ

=

= × × ×

= + + +

(10)

• Logaritmisen uskottavuusfunktion summaesityksen maksimointi on usein ratkaisevasti helpompaakuin uskottavuusfunktion maksimointi.

1 2

( ) ( ; ) ( ; ) ( ; )_n lθ =lθ x +lθ x + +lθ x

SU-estimaattorin ominaisuudet

• Olkoon X1, X2, … , Xnyksinkertainen satunnaisotos jakaumasta f(x; θ), jonka parametrinaon θ.

• Olkoon parametrin θsuurimman uskottavuudeneli SU-estimaattori.

• Hyvä estimaattori on harhaton, tyhjentävä, tehokasja tarkentuva(ks. lukua Estimointi).

• SU-estimaattori ei välttämättä täytä

hyvän estimaattorin kriteereitä, joten suurimman uskottavuuden menetelmää käytettäessä on aina erikseen varmistettava tuloksena saadun estimaattorin hyvyys.

θˆ

SU-estimaattorin asymptoottiset ominaisuudet 1/3

• Jos parametrin θSU-estimaattori ei täytä hyvän estimaattorin kriteereitä äärellisillä havaintojen luku- määrillä, SU-estimaattorin käyttöä parametrin θ estimaattorina voidaan perustella SU-estimaattorin yleisillä asymptoottisilla ominaisuuksilla:

(i) SU-estimaattori on tarkentuvaeli

(ii) SU-estimaattori on asymptoottisesti normaalinen.

θˆ

Pr(θˆ→θ) 1, kun n= → + ∞ θˆ

θˆ

• SU-estimaattorintarkentuvuusmerkitsee sitä, että SU- estimaattori toteuttaa suurten lukujen lain(ks. lukua

Konvergenssikäsitteet ja raja-arvolauseet).

• Suurten lukujen lain mukaan SU-estimaattorin arvo lähestyy stokastisesti parametrin oikeata arvoa, kun otoskoko kasvaa.

• SU-estimaattorinasymptoottinen normaalisuusmerkitsee sitä, että SU-estimaattori toteuttaa keskeisen raja-arvo- lauseen(ks. lukua Konvergenssikäsitteet ja raja-arvolauseet).

• SU-estimaattorin asymptoottinen normaalisuus merkitsee sitä, ettäSU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla.

• Se, että SU-estimaattori on erittäin yleisten ehtojen pätiessä asymptoottisesti normaalinen, on tärkeä lisä- peruste normaalijakauman keskeiselle asemalle tilastotieteessä.

Suurimman uskottavuuden menetelmä vs momenttimenetelmä

• Suurimman uskottavuuden menetelmä ja momentti- menetelmä eivät välttämättä tuota samoja estimaattoreita todennäköisyysjakauman parametreille.

• Monissa alkeellisissa tilanteissa menetelmät tuottavat kuitenkin samat estimaattorit.

• Suurimman uskottavuuden menetelmällä on tukenaan vahva tilastollinen teoria.

• Suurimman uskottavuuden menetelmä on hyvin pitkälti syrjäyttänytvanhemman momenttimenetelmän estimaattoreiden johtamisessa.

(11)

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosjakaumasta f(x; θ).

• Tarkastellaan seuraavien jakaumien parametrien SU-estimointia eli estimointia suurimman uskottavuuden menetelmällä (ks. lukuja Diskreettejä jakaumiaja Jatkuvia jakaumia):

– Normaalijakauma – Eksponenttijakauma – Bernoulli-jakauma

• Huomautuksia:

– Normaalijakauman, eksponenttijakauman ja Bernoulli-jakauman parametrien estimointia momenttimenetelmälläon tarkasteltu aikaisemmin tässä esityksessä.

– Normaalijakauman, eksponenttijakauman ja Bernoulli-jakauman tapauksessa suurimman uskottavuuden menetelmä ja momentti- menetelmä ja tuottavat jakaumien parametreille samat estimaattorit.

Normaalijakauman parametrien estimointi SU-menetelmällä

Normaalijakauma ja sen parametrointi

• Satunnaismuuttuja Xnoudattaa normaalijakaumaa N(µ, σ²), jos sen tiheysfunktioon

• Normaalijakauman parametreinaovat jakauman odotusarvo

ja varianssi E( )X =µ Var( )X =σ2

2

2 1 1

( ; , ) exp

2 2

, 0

f xµ σ σ π xσµ

µ σ

  −  

= −   

−∞ < < +∞ >

Otos normaalijakaumasta

• Olkoon

X1, X2, … , Xn

yksinkertainen satunnaisotosnormaalijakaumasta N(µ, σ²)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa normaalijakaumaa

N(µ, σ²)

Normaalijakautuneen otoksen

uskottavuusfunktio ja log-uskottavuusfunktio

• Otoksen X1, X2, … , Xnuskottavuusfunktioon

• Otoksen X₁, X₂, … , X_nlogaritminen uskottavuusfunktio on

2

1 2

2 2 2

1 2

1 2 2

2 1

( , ; , , , )

( ; , ) ( ; , ) ( ; , )

(2 ) exp 1 ( )

2

n

n n n

n

i i

L x x x

f x f x f x

x µ σ

µ σ µ σ µ σ

σ π µ

σ

− −

=

= × × ×

 

= − − 



∑



…

2

1 2

2

1 2

2 2

( , ; , , , ) log ( , ; , , , )

1 1

log log(2 ) ( )

n n

n i

l x x x

L x x x

n n x

µ σ µ σ

σ π µ

σ

=

= − − −

∑

−

…

Normaalijakauman parametrien SU-estimaattorit

• Normaalijakauman N(µ, σ²) odotusarvon µja varianssin σ²SU-estimaattoriteli suurimman uskottavuuden estimaattoritovat havaintojen X₁, X₂, … , X_n aritmeettinen keskiarvo

ja otosvarianssi

• Huomautus:

Parametrien µja σ²SU-estimaattorit yhtyvät niiden momentti-

1

ˆ 1 ⁿ i i

X X

µ n

=

∑

=

2 2

1

ˆ 1 ⁿ ( i )

i

X X

σ n

=

∑

−

(12)

SU-estimaattoreiden johto 1/2

• Derivoidaanlogaritminen uskottavuusfunktio

ensinparametrin µsuhteen ja merkitään derivaatta nollaksi:

• Derivaatan ainoa nollakohta

antaa log-uskottavuusfunktionmaksiminparametrin µsuhteen.

2 2 2

2 1

1 1

( , ) log log(2 ) ( )

2 2 2

n i i

lµ σ n σ n π x µ

σ =

= − − −

∑

−

2 2

1

( , ) 1 ⁿ(i ) 0

i

lµ σ x µ

µ σ =

∂ = − =

∂

∑

1

ˆ 1

n i i

x x

µ n

=

∑

=

SU-estimaattoreiden johto 2/2

• Sijoitetaanratkaisu logaritmiseen uskottavuusfunktioon:

• Derivoidaanfunktio parametrin σ²suhteen ja merkitään derivaatta nollaksi:

antaa log-uskottavuusfunktionmaksiminparametrin σ²suhteen.

2 2 2

2 1

1 1

( , ) log log(2 ) ( )

2 2 2

n i i

l xσ n σ n π x x

σ =

= − − −

∑

−

µ=x

( , 2) l xσ

2

2 2 4

1

( , ) 1 ( ) 0

2 2

n i i

lµ σ n x x

σ σ σ =

∂ = − + − =

∂

∑

2 2

1

ˆ 1ⁿ(i )

i

n x x σ

=

∑

−

SU-estimaattoreiden ominaisuudet 1/2

• Normaalijakauman N(µ, σ²) odotusarvon µ SU-estimaattorilla on seuraavat ominaisuudet:

(i) on harhaton.

(ii) ja ovat yhdessä tyhjentäviäparametreille µ, σ². (iii) on tehokaseli minimivarianssinen estimaattori.

(iv) on tarkentuva.

(v) noudattaa normaalijakaumaa:

µˆ µˆ

µˆ µˆ µˆ µˆ

2

ˆ ~ N , n µ ^_µ σ ^_

 

ˆ2

σ

SU-estimaattoreiden ominaisuudet 2/2

• Normaalijakauman N(µ, σ²) varianssin σ² SU-estimaattorilla on seuraavat ominaisuudet:

(i) on harhainen, mutta estimaattori

on harhaton.

(ii) ja ovat yhdessä tyhjentäviäparametreille µ, σ². (iii) on tehokaseli minimivarianssinen estimaattori.

(iv) on tarkentuva.

(v) (n– 1) s²/σ²noudattaa χ²-jakaumaa:

ˆ2

σ

2 2 2

1

ˆ 1 ( )

1 1

n i i

s n X X

n σ n

=

= = −

− −

∑

ˆ2

σ

ˆ2

σ ˆ2

σ

2 2 2

(n 1)s χ (n 1) σ

− ∼ −

ˆ2

σ µˆ

Eksponenttijakauman parametrien estimointi SU-menetelmällä

Eksponenttijakauma ja sen parametrointi

• Satunnaismuuttuja Xnoudattaa eksponenttijakaumaa Exp(λ), jos sen tiheysfunktioon

• Eksponenttijakauman ainoa parametri

voidaan tulkita sopivat ehdot toteuttavassa jono- tapahtumassa 1. tapahtuman odotusajaksitai tapahtuma- intensiteetiksi.

1 E( )X λ=

( ; ) exp( ) , 0 , 0

f xλ =λ −λx x≥ λ>

Otos eksponenttijakaumasta

• Olkoon

X₁, X₂, … , X_n

yksinkertainen satunnaisotoseksponenttijakaumasta Exp(λ)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa eksponenttijakaumaa

Exp(λ)

(13)

Eksponenttijakautuneen otoksen

• Otoksen X1, X2, … , Xnuskottavuusfunktioon

• Otoksen X1, X2, … , Xnlogaritminen uskottavuusfunktio on

1 2

1

( ; , , , )

( ; ) ( ; ) ( ; )

exp

n

n n

n

i i

L x x x

f x f x f x

x λ

λ λ λ

λ λ

=

= × × ×

 

= −

∑



…

1 2

1

( ; , , , ) log ( ; , , , )

log( )

n n n

i i

l x x x

L x x x

n x

λ λ λ λ

=

= −

∑

…

Eksponenttijakauman parametrin SU-estimaattori

• Eksponenttijakauman Exp(λ) parametrin λ SU-estimaattorieli suurimman uskottavuuden estimaattorion

jossa

on havaintojen X1, X2, … , Xnaritmeettien keskiarvo.

• Huomautuksia:

– Parametrin λSU-estimaattori yhtyy sen momenttiestimaattoriin.

– Estimaattorin ominaisuudet sivuutetaan.

ˆ 1 λ=X

1

1 ⁿ

i i

X X

n =

=

∑

λˆ

SU-estimaattorin johto

parametrin λsuhteen ja merkitään derivaatta nollaksi:

antaa log-uskottavuusfunktionmaksiminparametrin λsuhteen.

1

( ) log( ) ⁿ i i

lλ n λ λ x

=

= −

∑

1

( ) ⁿ i 0

i

lλ n x

λ λ =

∂ = − =

∂

∑

1

1 1

ˆ 1ⁿ

i i

x x n λ

=

= =

∑

Bernoulli-jakauman parametrien estimointi SU-menetelmällä

Bernoulli-jakauma ja sen parametrointi

• Olkoon A tapahtuma, jonka todennäköisyys on p:

Pr(A) = p

• Määritellään satunnaismuuttuja Xseuraavasti:

• Satunnaismuuttuja Xnoudattaa Bernoulli-jakaumaa Ber(p) ja sen pistetodennäköisyysfunktioon

• Bernoulli-jakauman ainoa parametri pyhtyy jakauman odotusarvoon:

p= E(X)

1, jos tapahtuu 0, jos ei tapahdu X A

A

= 



( ; ) ^x(1 )1^x, 0,1; 0 1 f x p =p −p ⁻ x= < <p

Otos Bernoulli-jakaumasta

• Olkoon

X₁, X₂, … , X_n

yksinkertainen satunnaisotosBernoulli-jakaumasta Ber(p)

• Tällöin havainnot X1, X2, … , Xnovat riippumattomia, samaa Bernoulli-jakaumaa

Ber(p)

Bernoulli-jakautuneen otoksen

• Otoksen X1, X2, …, Xnuskottavuusfunktioon

• Otoksen X₁, X₂, …, X_nlogaritminen uskottavuusfunktio on

1 2

( ; , , , )

( ; ) ( ; ) ( ; )

(1 )

i i

n

x n x

L p x x x

f x p f x p f x p

p^Σ p ^−Σ

= × × ×

= −

…

1 2

( ; , , , ) log ( ; , , , )

log( ) ( )log(1 )

n n

i i

l p x x x

L p x x x

x p n x p

=

∑

+ −

∑

−

…

(14)

Bernoulli-jakauman odotusarvoparametrin SU-estimaattori 1/2

• Bernoulli-jakauman Ber(p) odotusarvoparametrin p SU-estimaattorieli suurimman uskottavuuden estimaattorion havaintojen X1, X2, … , Xn

aritmeettien keskiarvo

• Huomautus:

Parametrin pSU-estimaattori yhtyy sen momenttiestimaattoriin.

1

ˆ 1

n i i

p X X

n =

=

∑

=

Bernoulli-jakauman odotusarvoparametrin SU-estimaattori 2/2

• Koska

niin

jossa fon tapahtuman A frekvenssiotoksessa.

• Siten Bernoulli-jakauman odotusarvoparametrin p suurimman uskottavuuden estimaattori

on tapahtuman A suhteellinen frekvenssi¹ otoksessa.

ˆ 1 ⁿ i i

p X f

n = n

=

∑

=

1, jos tapahtuu 0, jos ei tapahdu

i

X A

A

= 



1 n

i i

X f

=

∑

=

SU-estimaattorin johto

parametrin psuhteen ja merkitään derivaatta nollaksi:

antaa uskottavuusfunktion maksimin.

( ) 0

1

i i

x n x

l p

p p p

Σ − Σ

∂ = − =

∂ −

1 1

( ) ⁿ ilog( ) ( ⁿ i)log(1 )

i i

l p x p n x p

= =

=

∑

+ −

∑

−

1

ˆ 1ⁿ i i

p x x

n=

=

∑

=

SU-estimaattorin ominaisuudet

• Bernoulli-jakauman Ber(p) odotusarvoparametrin p SU-estimaattorilla on seuraavat ominaisuudet:

(i) on harhaton.

(ii) on tyhjentävä.

(iii) on tehokaseli minimivarianssinen estimaattori.

(iv) on tarkentuva.

(v) noudattaa asymptoottisesti normaalijakaumaa:

(1 ) ˆ ~ Na ,

p p

n

 − 

 

 

ˆ p pˆ

pˆ pˆ pˆ pˆ