X 1 , X 2 , . . . , X n otosjakaumasta, jonkatiheysfunktioonf(x, θ).Esti-

9.6.1 Markovinja T²eby²evin epäyhtälöt sekäsuurten luku-

jen laki. . . 263

9.6.2 Jenseninepäyhtälö . . . 265

9.6.3 Stokastinensuppeneminen . . . 266

9.6.4 Suppeneminen jakaumamielessä . . . 268

10 Uskottavuuspäättelyn perusteet 273 10.1 Uskottavuuden määritelmä . . . 273

10.1.1 Diskreetit mallit. . . 275

10.1.2 Jatkuvatmallit . . . 275

10.2 Esimerkkejä . . . 276

10.3 Uskottavuuksien yhdistäminen . . . 276

10.4 Yhteys Bayesilaiseen lähestymistapaan . . . 283

10.5 Uskottavuussuhde . . . 283

10.6 Uskottavuusfunktion maksimi ja kaarevuus . . . 284

10.7 Uskottavuuden invarianssi . . . 287

10.7.1 Uskottavuus uudessa parametrisoinnissa . . . 288

10.8 Pistesuureen jakauma . . . 289

10.9 Suurimmanuskottavuuden menetelmä . . . 292

10.9.1 Odotettu informaatioja kokeiden suunnittelu . . . 292

10.9.2 Pistefunktionja informaatiofunktion ominaisuuksia . . 293

10.9.3 Cramérin ja Raon alaraja . . . 295

10.9.4 Suurimman uskottavuuden estimaattorinominaisuuksia296 11 Piste-estimointi 299 11.1 Piste-estimaattoreiden ominaisuuksia . . . 299

11.1.1 Harhattomuus . . . 299

11.1.2 Tehokkuus . . . 300

11.1.3 Tarkentuvuus . . . 304

11.2 Estimointimenetelmiä. . . 305

11.2.1 Momenttimenetelmä . . . 305

11.2.2 Bayesin menetelmä . . . 306

11.2.3 Suurimman uskottavuuden estimaattorin (SUE) omi- naisuuksia . . . 307

11.3 Delta-menetelmä . . . 308

11.4 Tyhjentävyys . . . 310

11.4.1 Perusidea . . . 310

11.4.2 Tekijälause . . . 311

11.4.3 Minimaalinen tyhjentävyys . . . 312

11.5 Eksponentiaalinen perhe . . . 316

12 Väliestimointi 321 12.1 Keskiarvojen luottamusvälit . . . 321

12.1.1 Napasuureet . . . 326

12.2 Kahden keskiarvonerotuksen luottamusvälit . . . 327

Piste-estimointi

Olkoon

X 1 , X 2 , . . . , X n

^otosjakaumasta, jonkatiheysfunktioon

f(x, θ)

^.Esti-

moimmejakaumantunnuslukua

θ

^{jollakinotoksen}tunnusluvulla

T

^.Koska

T

onotoksenfunktio,täydellisempimerkintäolisi

T (X 1 , X 2 , . . . , X n )

^.Joshalu-

taankorostaa,ettäkyseessä onnimenomaan

θ

^:nestimaattori,merkitään

θ, ˆ θ ˜

jne.Havaitustaotoksesta

x ₁ , x ₂ , . . . , x _n

^laskettuaestimaattorin

T

^arvoamer-

kitään pienellä kirjaimella, eli

T (x 1 , x 2 , . . . , x n ) = t

^{, ja} estimaattorin arvoa kutsutaan estimaatiksi. Sen sijaan

θ ˆ

^{on merkintä sekä} estimaattorille että estimaatille. Olemme edellä jo tarkastelleet useita estimaattoreita. Tavan-

omaisiaodotusarvon

µ

^javarianssin

σ ²

estimaattoreitaovatotoskeskiarvo

X

ja otosvarianssi

S ²

^.

11.1 Piste-estimaattoreiden ominaisuuksia

Luvuissa

8

^,

9

^ja

10

^{olemme jo} tarkastelleetuseita estimaattoreiden ominai- suuksia, kuten harhattomuus, minivarianssisuus ja tarkentuvuus. Tässä lu-

vussa kootaan yhteen ja täydennetään edellä esitettyjä tuloksia.

11.1.1 Harhattomuus

Parametrin

θ

estimaattorin

θ ˆ

^{hyvyyttä on luontevaamitata} tarkastelemalla poikkeamaa

θ ˆ − θ

^{. Tässä siis}

θ

^{on tuntematon kiinteä parametrin arvo ja}

θ ˆ

on satunnasimuuttuja. Poikkeamat voivat olla tietysti positiivisia tai nega-

tiivisia, mutta neliöpoikkeama

(ˆ θ − θ) ² ≥ 0

^{mittaa poikkeaman suuruutta.}

Neliöpoikkeamanodotusarvo

(11.1.1)

MSE(ˆ θ) = E(ˆ θ − θ) ²

on keskineliövirhe. Jos estimaattorilla on pieni keskineliövirhe, estimaattori

antaa keskimäärin lähellä

θ

^{:aa olevia arvoja.} Määritelmästä (11.1.1) seuraa suoraan, että

MSE(ˆ θ) = Var(ˆ θ) + [E (ˆ θ) − θ] ² ,

missä

E(ˆ θ) − θ

^onestimaattorin

θ ˆ

^harha.

Määritelmä 11.1 Estimaattori

θ ˆ

^{onparametrin harhaton} estimaattori, jos

E(ˆ θ) = θ

^kaikilla

θ

^{:n arvoilla. Muutoin}

θ ˆ

^{on harhainen ja}

[harha(ˆ θ)] ² > 0

jollakin

θ

^{:n arvolla.}

Olemmejo aikaisemminEsimerkissä 9.4 osoittaneet, että otoskeskiarvo

µ ˆ = X

^ja otosvarianssi

σ ˆ ² = S ²

^ovat harhattomia estimaattoreita. Sen sijaan esimerkiksiotosvarianssinneliöjuuri

σ ˆ = √

S ²

^on

σ

^:nharhainenestimaattori.

Esimerkki 11.1 Olkoon

X 1 , . . . , X n

^{otos Bernoullin jakaumasta}

Ber(π), 0 < π < 1

^{. Voidaanko}

π ²

^estimoida harhattomasti yhden havainnon perus- teella? Oletetaan, että

T

^olisi

π ²

^{:n harhatton} estimaattori.Silloin

(11.1.2)

π ² = E[T (X)] = πT (1) + (1 − π)T (0) = T (0) + π[T (1) − T (0)],

kaikilla

π ∈ (0, 1)

^{. Koska (11.1.2) pitää paikkansa kaikilla}

π ∈ (0, 1)

^{, niin}

yhtälönmolemmillapuolillatäytyy

π

^{:npotenssien vastaavienkertoimienolla}

samat. Tämä on mahdotonta, joten

π ²

^{:ta ei voida estimoida}harhattomasti yhden havainnon perusteella.

Jos

n > 1

^{, voisimme kokeilla} estimaattoria

X ¯ _n ²

^{, missä}

X ¯ n = _n ¹ P n i=1 X i

on otoskeskiarvo. Tämä estimaattori ei olekuitenkaan harhaton. Sen sijaan

X ¯ n (n X ¯ n − 1)/(n − 1)

^on

π ²

^:nharhaton estimaattori,kun

n > 1

^.

Esimerkki 11.2 Olkoon

X 1 , . . . , X n

^{otos Bernoullin jakaumasta}

Ber(π), 0 < π < 1

^kutenEsimerkissä11.1.Joskushalutaanestimoida

1/π

^.Luonnolli-

nen estimaattoriehdokason

1/ X ¯ n = n/ P n

i=1 X i

^,missä

P n

i=1 X i ∼ Bin(n, π)

^.

Koska

P (

n

X

i=1

X i = 0) = (1 − π) ⁿ > 0, E(1/ X ¯ ) = ∞

^kaikilla

n ≥ 1

^{. Sen sijaan} estimaattorilla

T _n = n + 1 n X ¯ + 1

onäärellinenodotusarvo, mutta estimaattorion harhainen.

Harhattomuus on haluttava ominaisuus,muttaei aina kovin oleellinen.

11.1.2 Tehokkuus

Eräs tapa arvioida estimaattorien hyvyyttä on vertailla niiden keskineliö-

virheitä. Olkoot

θ ˆ 1

^ja

θ ˆ 2

^{kaksi parametrin}

θ

estimaattoria. Estimaattorin

θ ˆ 1

tehokkuus suhteessa estimaattorin

θ ˆ 2

tehokkuuteet määritelläänsuhteena (11.1.3)

eff(ˆ θ ₁ , θ ˆ ₂ ) = MSE(ˆ θ 2 )

MSE(ˆ θ 1 )

ja sitä kutsutaan estimaattoreiden suhteelliseksi tehokkuudeksi. Kun esti-

maattorit ovat harhattomia, suhteellinen tehokkuus on varianssien suhde.

Jos estimaattori

θ ˆ

^{on harhaton, voidaan sen} varianssille

Var(ˆ θ)

^{, johtaa ala-}

raja, joka oneräänlainen mittatikkuestimaattorin hyvyydelle.

Oletetaan, että

X

^{noudattaa jakaumaa, jonka} tiheysfunktio on

f (x; θ)

^.

Fisherin pistefunktio on

(11.1.4)

S(θ; x) = ∂ l(θ; x)

∂θ ,

missä

l(θ; x) = log f (x; θ)

^{. T}arkastellaan nyt pistefunktiota

S

"satunnais- funktiona" eli

S(θ; X) = ∂ l(θ; X)

∂θ .

Kun havaitaan

X = x

^{, saadaan funktio (11.1.4). Eri}

X

^{:n arvoilla saadaan}

aina eri funktio.

Esimerkki 11.3 Oletetaan, että

X ∼ N(µ, σ ² )

^{. Silloin}

µ

^:n logaritmoituus- kottavuusfunktio on(

σ ²

^{voidaan ajatella vakioksi)}

l(µ; X) = − 1

2σ ² (X − µ) ²

ja

S(µ; X) = 1

σ ² (X − µ).

Silloin

E[S(µ; X)] = E [(X − µ)/σ ² ] = 1

σ ² E(X − µ)

= 1

σ ² [E(X) − µ] = 0.

ja

Var[S(µ; X)] = Var 1

σ ² (X − µ)

= 1

(σ ² ) ² Var(X − µ) = σ ²

(σ ² ) ² = 1 σ ² .

Toisaalta

I(µ; X) = − ∂ ² l(µ; X)

∂µ ² = − ∂S(X; µ)

∂µ = 1

σ ² ,

jotentässätapauksessa havaittuinformaatio

I(µ; X)

^eiriipu havainnoistaja odotettu informaatioonsama kuin havaittu informaatio:

E[I(µ; X)] = 1 σ ² .

Huomaamme, että pistesuureen

S(µ; X)

^{varianssionodotettu}informaatio:

Var[S(µ; X)] = E[I(µ; X)].

Koska

µ ˆ = X

^on

µ

^:nsuurimman uskottavuuden estimaattori, niin

Var(ˆ µ) = 1 E[I(µ; X)] .

Esimerkki 11.4 Oletetaan, että

X ∼ Bin(n, θ)

^.Silloin

θ

^:nlogaritmoituus- kottavuusfunktio on

l(θ; X) = X log θ + (n − X) log(1 − θ), 0 < θ < 1,

ja pistefunktio

S(θ; X) = X

θ − n − X

1 − θ = X − nθ θ(1 − θ) .

Helpostitodetaan,että

E[S(θ; X)] = 0

^ja

Var[S(θ; X)] = n

θ(1 − θ) .

Havaittu informaatioon

I (θ; X) = X

θ ² + n − X (1 − θ) ² ,

josta saadaanodotettu informaatio

E[I(θ; X)] = nθ

θ ² + n − nθ

(1 − θ) ² = n θ(1 − θ) .

Jälleen pistesuureen

S(θ; X)

^{varianssi, odotettu} informaatio ja suurimman uskottavuuden estimaattorin

θ ˆ = X/n

^{varianssiliittyvätyhteen} seuraavasti:

Var[S(θ; X)] = E[I(θ; X)]

ja

Var(ˆ θ) = 1 E[I(θ; X)] .

Esimerkki 11.5 Kun

X

^{noudattaa Poissonin jakaumaa}

Poi(µ)

^{, niin}

l(µ; X) = X log µ − µ, S(µ; X) = X

µ − 1

^ja

∂ ² l(µ; X)

∂µ ² = − X µ ² .

Nyt siis

I(µ; X) = _µ ^{X 2}

^{ja odotettu}informaatioon siis

E[I(µ; X)] = E X

µ ²

= E(X) µ ² = 1

µ

ja välittömästivoidaanmyös todeta, että myös

Var[S(µ; X)] = 1 µ .

Parametrin

µ

^suurimman uskottavuuden estimaattori

µ ˆ = X

^{on ja}

Var(ˆ µ) = 1

E[I(µ; X)] = µ.

Fisherin informaatio on

(11.1.5)

I (θ) = E[I(θ; X)].

Kun meillä on havainto

X = x

^{, voidaan laskea havaittu} informaatio

I (θ; x)

annetulla parametrin arvolla. Suurimman uskottavuuden estimaatti antaa

uskottavimman parametrin arvon

θ ˆ

^ja

I(ˆ θ; x)

^antaa tarkkuuden, millä

θ

^on

estimoitu. Informaation määrä riippuu tyypillisesti otoksen koosta, joka on

tärkeänäkökohtasuunniteltaessakoettataiaineistonhankintaa.Ennenkoet-

taonhyödyllistäarvioidahavaintojenantamainformaationmäärä.Suunnit-

teluvaiheessa ei voida laskea havaittua informaatiota, koska havaintoja ei

vielä ole. Sen sijaan odotettu informaatio(11.1.5) voidaan laskea. Odotettu

informaatiomittaa

θ

^:n estimoinninkeskimääräistä tarkkuutta,jokavoidaan saavuttaa toistamallakoetta taitekemällätoistuvia otoksia.

Olkoon

X 1 , . . . , X n

^otosjakaumasta,jonkatiheysfunktio(taitodennäköi- syysfunktio) on

f (x; θ)

^{. Suoraan} pistefunktionmääritelmästäseuraa, että

S(θ; X 1 , . . . , X n ) =

n

X

i=1

S(θ; X i ),

missä

S(θ; X i ) = ^{∂ l(θ;X} _∂θ ^{i )}

^. Vastaavasti otokseen

X 1 , . . . , X n

^{perustuva infor-}

maatiofunktiovoidaan esittääsummana

I(θ; X 1 , . . . , X n ) =

n

X

i=1

I (θ, X i ),

missä

I(θ; X i ) = − ^{∂ 2 l(θ;X} _∂θ ^{2 i )}

^{. Koskahavainnot}

X i , 1 ≤ i ≤ n,

noudattavatsa- maa jakaumaa, jokaisen havainnon antama odotettuinformaatio

E[I(θ, X i )]

onsama. Merkitään siksi yhden havainnon odotettua informaatiota

(11.1.6)

i(θ) = E[I (θ; X i )],

missä

I(θ; X i ) = − ^{∂ 2 l(θ;X} ∂θ ^{2 i )}

^{.Nytsiisotokseen}

X 1 , . . . , X n

^{perustuvaodotettu}

informaatioon

(11.1.7)

I (θ) =

n

X

i=1

E[I(θ, X i ) = n i(θ).

Esimerkeissä 11.3,11.4 ja11.5totesimme, että

Var[S(θ; X)] = i(θ)

^,joten

(11.1.8)

Var[S(θ; X 1 , . . . , X n )] = n i(θ).

Relaatio(11.1.8)voidaantodistaayleisestitiettyjensäännöllisyysehtojenval-

litessa. Odotettu informaatiovoidaan siis laskea joko odotusarvona (11.1.7)

taipistefunktionvarianssina(11.1.8).Tavallisestiodotusarvo(11.1.7)onhel-

pompi laskea kuinpistefunktion varianssi.

Alaluvussa 10.9.3 todistetun Cramérin ja Raon lauseen avulla voidaan

määrittääharhattomanestimaattorin varianssinalaraja.

Cramérinja Raon alaraja:Olkoon

θ ˆ

^parametrin

θ

^harhatonestimaattori.

Silloin tiettyjen säännöllisyysehtojen vallitessa

(11.1.9)

Var(ˆ θ) ≥ 1

n i(θ) ,

missä

i(θ)

^{on yhden havainnon antama odotettu}informaatio.

Nyt määrittelemmetehokkaan eli minimivarianssisenestimaattorin.

Määritelmä 11.2 Jos

θ ˆ

^{on parametrin}

θ

^harhaton estimaattori ja

Var(ˆ θ) = 1 n i(θ) ,

niin

θ ˆ

^on

θ

^:nharhaton minimivarianssinen estimaattori.

11.1.3 Tarkentuvuus

Eräs estimaattorille asetettava luonnollinen vaatimus on, että sen tarkkuus

kasvaa kun otoskoko kasvaa. Tarkan estimaattorin arvot osuvat suurellato-

dennäköisyydellä lähelleparametrin

θ

^{oikeata arvoa. T}arkentvuvuus sisältää tämän ajatuksen. Merkitään

θ ˆ n = ˆ θ(X 1 , X 2 , . . . , X n )

^{, missä}

(ˆ θ n ; n ≥ 1)

^on

estimaattoreiden jono,missä otoskoko

n = 1, 2, . . .

^kasvaa.

Määritelmä 11.3 Tunnusluku

θ ˆ n

^onparametrin

θ

^tarkentuva estimaattori, jos kaikilla

ε > 0

P ( | θ ˆ _n − θ | ≥ ε) → 0,

kun otoskoko

n

^{kasvaa rajatta.}

Määritelmätarkoittaasiissitä,ettäestimaattori

θ ˆ _n

^suppeneetodennäköisyy- den mielessä (stokastinen suppeneminen) kohti parametrinarvoa

θ

^eli

θ ˆ n

−→ P θ,

kun

n

^{kasvaa.Luvussa}

8

esimerkiksiLauseessa9.17esitettiinstokastistasup- penemista koskevia tuloksia. Lauseen 9.17 kohdan SS1 mukaan

θ ˆ _n

^{ontarkentuva jos}

MSE(ˆ θ _n ) → 0,

kunotoskoko

n

^{kasvaarajatta.Tämä}tarkentuvuuden ehtoonhelppotarkis- taa. Josestimaattorionharhaton, tarkistetaan, meneeköestimaattorinvari-

anssi nollaanotoskoonkasvaessa. Jos estimaattori ei oleharhaton, tarkiste-

taan lisäksi,meneekö myös estimaattorinharha nollaan otoskoonkasvaessa.

Huomattakoon, että tavallisesti merkitsemme

θ

^:nestimaattoria yksinkertai- sesti

θ ˆ

^{, kun}riippuvuutta

n

^{:stä eitarvitse} erityisesti korostaa.

11.2 Estimointimenetelmiä

Kahdessa edellisessä luvussa käsiteltiin suurimman uskottavuuden menetel-

mää. Lukijalle on tuttu myös pienimmän neliösumman menetelmä ja

9.

^lu-

vussa mainittiin myös ns. robustitit estimaattorit. Seuraavassa alaluvussa

käsitelläänlyhyesti momenttimenetelmää.

11.2.1 Momenttimenetelmä

Momenttimenetelmänideana onse, ettäasetetaan populaationmomentitja

vastaavat otoksen momentit yhtä suuriksi. Olkoon

X 1 , . . . , X n

^{otos jakau-}

masta,jollaonolemassariittävämäärä momentteja. Momentitriippuvates-

timoitavistatuntemattomista parametreista, joita merkitään

θ ₁ , . . . , θ _k

^{. Es-}

timoitaviaparametreja on siis

k

kappaletta. Merkitään otokosesta laskettua

r.

^momenttia

m r

^{ja se on}

m r = 1 n

n

X

i=1

X _i ^r .

Vastaavapopulaation

r.

^momenttion

α r = E(X ^r ),

missä

X

^:n tiheysfunktioon

f(x; θ 1 , . . . , θ k ).

Merkitään momenttiestimaattoreita

θ ˜ ₁ , . . . , θ ˜ _k

^{. Kun asetetaan otosmo-}

mentitja populaation momentit yhtä suuriksi,saadaan yhtälöryhmä

α ₁ (θ ₁ , . . . , θ _k ) = m ₁ α ₂ (θ ₁ , . . . , θ _k ) = m ₂

.

.

.

α k (θ 1 , . . . , θ k ) = m k ,

joka ratkaistaan parametrien

θ 1 , . . . , θ k

^{suhteen. Menetelmä on} yksinkertai- nen ja se antaa tarkentuvia estimaattoreita.

Esimerkki 11.6 Olkoon

X 1 , . . . , X n

^otosnormaalijakumasta

N(µ, σ ² )

^.Mää-

ritetään parametrien

µ

^ja

σ ²

momenttiestimaattorit. Koska otosmomentit ovat

m 1 = ¯ X

^ja

m 2 = 1 n

n

X

i=1

X _i ²

ja vastaavat populaation momentit

α 1 = µ

^ja

α 2 = σ ² + µ ² ,

saadaanyhtälöryhmä

µ = X ¯ σ ² + µ ² = 1

n

n

X

i=1

X _i ² .

Tästä ratkaisemallasaadaanmomenttiestimaattorit

˜

µ = X ¯

˜

σ ² = 1 n

n

X

i=1

X _i ² − X ¯ ² = 1 n

n

X

i=1

(X i − X) ¯ ² .

11.2.2 Bayesin menetelmä

Bayesilaisessalähestymistavassaparametria

θ

käsitelläänsatunnaismuuttuja- na. Tuntematonta parametria

θ

^{koskeva epävarmuus esritetään} priorijakau- man

π(θ)

^{avulla. Kun havainto on saatu, parametrin jakauma} päivitetään Bayesin kaavan avulla.Näin saadaanns. posteriorijakauma

(11.2.1)

π(θ | x) = f (x | θ)π(θ) g (x) ,

missä

g(x)

^on

X

^:nreunajakaumantiheysfunktio(taitodennäköisyysfunktio).

Reunajakauma lasketaankaavalla

g(x) = ( P

θ f(x | θ)π(θ),

diskreetissä tapauksessa

; R ^∞

−∞ f(x | θ)π(θ)d θ,

^jatkuvassa tapauksessa

.

Kun minimoidaanodotettukvadraattinen tappio (riski)

E(b − θ) ² = Z

(b − θ) ² π(θ | x)d θ

b

^{:n suhteen, saadaan}posteriorijakaumanodotusarvo(keskiarvo)

b = Z

θπ(θ | x)d θ.

Bayesin estimaatiksi

θ ˆ _b

^valitaanposteriorijakaumanodotusarvo.Josvalitaan toinen tappiofunktio, päädytään tavallisesti eri estimaattoriin. Bayesilainen

menetelmäyhdistääsiisinformaatiotakertomallapriorinjauskottavuusfunk-

tion keskenään.

11.2.3 Suurimman uskottavuuden estimaattorin (SUE)

ominaisuuksia

Edellä olemme käsitelleet useita suurimman uskottavuuden estimaattorin

ominaisuuksia. Esitimmemyös harhattaomanestimaattorin varianssille ala-

rajan Fisherin informaation avulla (Cramérin ja Raon lause). Seuraavassa

esitämme vielä suurimman uskottavuuden estimaattorin tärkeimmät omi-

naisuudet luettelonomaisesti.

1. Suurimmanuskottavuuden estimaattoriteivät olevälttämättäharhat-

tomia.Josesimerkiksi

X 1 , . . . , X n

^onotosnormaalijakaumasta

N(µ, σ ² )

^,

niin

σ ²

^{:n SUE}

σ ˆ ² = _n ¹ P n

i=1 (X i − X) ¯ ²

^{on harhainen. Vaikka jotkut}

SUE:tovatharhaisia,kaikkiSUE:tovattarkentuvia,jotenkaikkiSUE:t

ovat asymptoottisesti harhattomia.

2. Jos

θ ˆ

^on

θ

^{:n SUE ja}

g

^{jokin funktio, niin silloin}

g(ˆ θ)

^on

g(θ)

^{:n SUE.}

TämäonSUE:ninvarinttisuusominaisuus (Katsoalaluku10.7jaLause

10.1). Josesimerkiksi

X ¯

^on

θ

^{:n SUE,niin}

X ¯ ²

^on

θ ²

^{:n SUE.}

3. Oletetaan, että

f (x; θ)

^{toteuttaa tietyt} säännöllisyysoletukset ja

θ

^:lla

on harhaton estimaattori

θ ˜

^{, joka saavuttaa Cramerin ja Raon rajan}

(

θ ˜

^{on tehokas). Oletetaan, että}

θ

^{:n SUE}

θ ˆ

^on pisteyhtälön

S(θ) = 0

ratkaisu. Silloin

θ ˜ = ˆ θ

^{. On kuitenkin} huomattava, että kaikki suurim- man uskottavuuden estimaattorit eivät ole tehokkaita. Kuitenkin, jos

tehokas estimaattori onolemassa,se onSUE.

4. Kun

f (x; θ)

^{toteuttaa tietyt} säännöllisyysoletukset, niinotokseen

X 1 , . . . , X n

^perustuva

θ

^{:n suurimman} uskottavuuden estimaattori

θ ˆ n

noudattaa asymptoottisestinormaalijakaumaa,jonka odotusarvo on

θ

ja varianssi on

1/ I (θ)

^{. Jossiis}

n → ∞

^{, niin}

(11.2.2)

θ ˆ _n ∼ N(θ, 1

I (θ) ).

Huomattakoon, että

I (θ) = n i(θ)

^{, missä}

i(θ)

^{onyhden havainnon an-}

tama informaatio. Tulokseen (11.2.2) perustuvat monet suurten otos-

ten testit ja luottamusvälit.Suurimman uskottavuuden estimaattorin

θ ˆ n

asymptoottinenvarianssisiissaavuttaa Cramérin jaRaon alarajan.

SUE

θ ˆ n

^onsiisasymptoottisesti tehokasestimaattori. Riittävänsuurilla otoksilla normaalijakaumaon hyvä

θ ˆ n

^{:njakaumanlikiarvo.}

Voidaan osoittaa,että seuraavat tulokset pitävät paikkansa:

p I (θ)(ˆ θ _n − θ) −→ ^d N(0, 1) p I(θ)(ˆ θ n − θ) −→ ^d N(0, 1) q

I (ˆ θ n )(ˆ θ n − θ) −→ ^d N(0, 1) q

I(ˆ θ _n )(ˆ θ _n − θ) −→ ^d N(0, 1).

Kaksiviimeistätulosta ovatkäytännössätärkeimmät jane tarkoittavatsitä,

että suurilla

n

^{:n arvoilla}

θ ˆ n ∼ N(θ, 1 I (ˆ θ n ) )

(11.2.3)

θ ˆ n ∼ N(θ, 1 I (ˆ θ _n ) ).

(11.2.4)

Onsuositeltavaakäyttää

θ ˆ _n

^:nvarianssinestimaattinalauseketta

1/I(ˆ θ _n )

^.Ta-

vallisesti kuitenkin käsittelemämme jakaumat kuuluvat eksponentiaaliseen

perheeseen ja silloin

I (ˆ θ n ) = I(ˆ θ n )

11.3 Delta-menetelmä

Määritelmä 11.4 Funktion

g(x) r

^{.asteenTaylorinpolynomipisteessä}

a

^on

(11.3.1)

T r (x) = g(a) + g ^′ (a)(x − a) + g ^′′ (a)

2! (x − a) ² + · · · + g ^(r) (a)

r! (x − a) ^r ,

missä

g ^(r) (x) = _dx ^{d r} r g(x)

^{on funktion}

g(x) r

^{. derivaatta.}

Taylorinlauseen mukaan

(11.3.2)

lim

x → a

g(x) − T r (x) (x − a) ^r = 0,

jos

g ^(r) (a)

^{onolemassa.Funktio}

g(x)

^{voidaan lausua pisteen}

x = a

^ympäris-

tössä muodossa

g(x) = T r (x) + R r+1 (x),

missä

R r+1 (x) = g(x) − T r (x)

^onjäännöstermi,jokasiistoteuttaaehdon11.3.2.

Oletetaan, että

X

^on satunnaismuuttuja, jonka odotusarvo on

E(X) = µ 6 = 0

^{. Jos} estimoidaan funktiota

g(µ)

^{, niinsen Taylorin polynomiinperus-}

tuva 1.kertaluvunlikiarvopisteessä

µ

^on

(11.3.3)

g(X) ≈ g(µ) + g ^′ (µ)(X − µ).

Jos käytetään

g(µ)

^:nestimaattorinafunktiota

g(X)

^,niin

E[g(X)] ≈ g(µ)

ja

Var[g (X)] = [g ^′ (µ)] ² Var(X).

Esimerkki 11.7 Tarkastellaanodotusarvon

E(X) = µ 6 = 0

^funktion

g(µ) = 1/µ

estimointia.Olkoonestimaattorina

1/X

^{. Silloinedellisen mukaan}

E 1

X

≈ 1

µ

ja

Var 1

X

≈ 1

µ 4

Var(X).

Lause 11.1 (Delta-menetelmä) Olkoon

{ X n }

^sellainensatunnaismuuttu- jienjono,että

√ n(X n − θ)

^läheneejakaumamielessänormaalijakaumaa

N(0, σ ² )

^.

Oletetaan, että annetulla funktiolla

g

^{on määrätyllä arvolla}

θ

^derivaatta

g ^′ (θ) 6 = 0

^{. Silloin}

√ n [g(X n ) − g(θ)] → N 0, σ ² [g ^′ (θ)] ²

jakaumamielessä.

Esimerkki 11.8 Olkoon

X 1 , . . . , X n

^{otos jakaumasta}

Ber(p)

^.Onnistumisen todennäköisyyden

p

estimaattori on tavallisesti

p ˆ = ¹ _n P n

i=1 X i

^{. Onnistumi-}

sen mahdollisuus(odds)

p/(1 − p)

^onvedonlyönnissä jabiostatiikassatavan- omainenparametri.Voimmekäyttää

p/(1 − p)

^:nestimaattorina

p ˆ

^:nfunktiota

ˆ

p/(1 − p) ˆ

^{.Mitävoimmesanoatämän}estimaattorinominaisuuksista?Nytes- timoidaan siis funktiota

g(p) = p/(1 − p)

^{. Koska}

g ^′ (p) = 1/(1 − p) ²

^{, niin}

lausekkeen 11.3.3 mukaan

Var p ˆ

1 − p ˆ

≈ [g ^′ (p)] ² Var(ˆ p)

=

1 (1 − p) ²

2

p(1 − p)

n = p

n(1 − p) ³ .

Lauseessa 11.1 oletettiin,että

√ n(X n − θ) −→ ^d Z ∼ N(0, σ ² )

^{. Usein vari-}

anssi riippuu

θ

^{:sta eli}

σ ² = σ ² (θ)

^{. Silloin lauseen11.1 mukaan}

√ n[g(X _n ) − g(θ)] −→ ^d N(0, σ ² (θ)[g ^′ (θ)] ² ).

Jos meilläon esimerkiksi otos Poissonin jakaumasta

Poi(λ)

^,niin

√ n( ¯ X n − λ) −→ ^d N(0, λ).

Esimerkki 11.9 Edellä mainitun Poissonin jakauman tapauksessa

θ = λ

ja

σ(θ) = √

λ

^. Määritetään muunnos

g(λ)

^{siten, että}

g( ¯ X n )

^{:n varianssi on}

vakio. Olkoon

c

^{vakio ja valitaan}

g

^{siten, että}

σ ² (θ)[g ^′ (θ)] ² = c ²

^eli

g ^′ (λ) = c σ(λ) .

Silloin siis

g(λ) = 2c √

λ

^ja valitsemalla

c = 1/2

^saadaan

g(λ) = √ λ

^ja

√ n( p X ¯ n − √ λ) 1/2

−→ d N(0, 1),

missä

σ ² (λ)[g ^′ (λ)] ² = c ² = ¹ ₄ .

^{Nyt siis}

p X ¯ n

^noudattaa asymptoottisesti normaalijakaumaa

N( √

λ, _4n ¹ )

^.

11.4 Tyhjentävyys

11.4.1 Perusidea

Eräs tilastollisen päättelyn peruskysymyksiä on, voidaanko havainnot kor-

vata jollakin tunnusluvulla menettämättä oleellista informaatiota. Tyhjen-

tävyyden käsite (Fisher 1922) luonnehtii havaintoihin sisältyvän parametria

θ

^koskevan informaationkvantitatiivisesti.Parametrin

θ

^estimaatti

T (x)

^on

tyhjentäväjossesisältääkaikenparametria

θ

^koskevaninformaation.Tyhjen- tävyyttä koskeva perustulos onse, että uskottavuusfunktio tiivistääitseensä

kaiken havaintojen antamanparametria

θ

^koskevaninformaation.

Määritelmä 11.5 Oletetaan,että

X 1 , . . . , X n

^onotosjakaumasta,jonkati- heysfunktio (taitodennäköisyysfunktio) on

f (x; θ)

^{. Olkoon}

t(x 1 , . . . , x n )

^ha-

vaintojen

x 1 , . . . , x n

^{funktio(jokaeiriipu}

θ

^{:sta) ja}

t(X 1 , . . . , X n )

^onvastaava

satunnaismuuttuja. Funktio

T = t(X 1 , . . . , X n )

^{on parametrin}

θ

^tyhjentävä

tunnusluku, jos satunnaismuuttujien

X 1 , . . . , X n

^{ehdollinenjakaumaehdolla}

T = t

^eiriipu

θ

^:sta.

Intuitiivisestimääritelmätarkoittaasitä,että

X

^{:narvotvoidaangeneroi-}

da

X

^:n ehdollisesta jakaumasta

f(x | T = t; θ)

^{, koska ehdollinen jakauma ei}

riipu

θ

^{:sta.Eiolemielekästä}esimerkiksiväittää,että otoskeskiarvoonpopu- laationkeskiarvontyhjentävätunnusluku.Useinnäinonasia,muttaväitteen

todenperäisyys riippuu populaation todennäköisyysmallista

f(x; θ)

^.

Esimerkki 11.10 Olkoon

X 1 , . . . , X n

^{otosPoissoninjakaumasta}

Poi(θ)

^.Sil-

loin

T (X 1 , . . . , X n ) = P

X i

^on

θ

^{:n tyhjentävä} tunnusluku. Näytetään, että otoksen

X 1 , . . . , X n

^{jakauma eiriipu}

θ

^{:sta, kun}

T = t

^{onannettu. Huomat-}

takoon, että riippumattomien Poissonin jakaumaa noudattavien satunnais-

muuttujien summa

T

^{noudattaa Poissonin jakaumaa}

Poi(nθ)

^. Havaintojen ehdollinen todennäköisyys ehdolla

T = t

^on

P (X ₁ = x ₁ , . . . , X _n = x _n | T = t) = P (X 1 = x 1 , . . . , X n = x n , T = t) P (T = t)

= P (X 1 = x 1 , . . . , X n = x n ) P (T = t)

= e ^{− nθ} θ ^{P x i} / Q x i ! e ^{− nθ} (nθ) ^t /t!

= t!

Q x _i ! Y

1 n

x i

,

kaikille

x 1 , . . . , x n

^{, joille}

P

x i = t

^{, ja muutoin} todennäköisyys on nolla. Eh- dollinentodennäköisyysei siisriipu

θ

^{:sta, joten}

T

^on

θ

^{:ntyhjentävä tunnus-}

luku.Huomattakoon, ettämyösjokainentunnusluvun

t = P

x i

bijektiivinen

kuvaus on

θ

^{:ntyhjentävä} tunnusluku.

Esimerkki 11.11 Koneella tehdään

n

^{tuotetta. Tuote on} hyväksyttävä to- dennäköisyydellä

θ

^{ja viallinen}todennäköisyydellä

1 − θ

^{. Oletetaan,että eri}

tuotteiden laadun välillä ei ole riippuvuutta. Olkoon

X _i = 1

^{, jos tuote on}

hyväksyttävä ja

X i = 0

^{muutoin. Tehdään siis}

n

riippumatonta Bernoullin koetta ja

(11.4.1)

P (X 1 = x 1 , . . . , X n = x n ) = θ ^t (1 − θ) ^{n − t} ,

missä

x i

^saaarvon

0

^tai

1

^ja

t = P

x i

^.Otoksen

X 1 , . . . , X n

^{ehdollinenjakau-}

maehdolla

T = P

X i = t

^on

f (x 1 , . . . , x n | t) = P (X 1 = x 1 , . . . , X n = x n , T = t)

n t

θ ^t (1 − θ) ^{n − t}

= θ ^t (1 − θ) ^{n − t}

n t

θ ^t (1 − θ) ^{n − t} = 1

n t

,

joka ei riipu

θ

^:sta.

T

^{onsiis tyhjentävä} tunnusluku.

11.4.2 Tekijälause

Tyhjentävyys on hyödyllinen käsite tarkasteltaessa havaintoaineiston tiivis-

tämistä.Tiivistetäänesimerkiksi havainnot

x ₁ , . . . , x _n

tunnuslukuun

x

^{. Kes-}

kiarvon

x

^{tunteminenei kuitenkaan riitä}tyhjentävyyden toteamiseksi, vaan on myös tiedettävä, mistä jakaumasta havainnot ovat peräisin. Tunnuslu-

vuntyhjentävydenosoittaminenperusmääritelmänavullaonuseinhankalaa.

Useimmitenhelpompi tapa onkäyttää ns. tekijälausetta.

Lause 11.2 Tunnusluku

t(x 1 , . . . , x n )

^{on parametrin}

θ

^{tyhjentävä tunnuslu-}

ku jos ja vain jos tiheysfunktio (tai todennäköisyysfunktio)

f (x ₁ , . . . , x _n ; θ)

voidaan esittää tekijämuodossa

f (x 1 , . . . , x n ; θ) = g(t(x 1 , . . . , x n ), θ)h(x 1 , . . . , x n ),

missä

h(x 1 , . . . , x n )

^{ei riipu}

θ

^:sta.

Esimerkki 11.12 Olkoon

x 1 , . . . , x n

^otosnormaalijakausta

N(µ, σ ² )

^jamer-

kitään

θ = (µ, σ ² )

^{. Otoksen} tiheysfunktio on

f (x ₁ , . . . , x _n ; µ, σ ² ) = (2πσ ² ) ^{− n/2} exp

− 1 2σ ²

X (x _i − µ) ²

= (2πσ ² ) ^{− n/2} exp

− P x ² _i

2σ ² + µ P x i

σ ² − nµ ² 2σ ²

.

Tekijälauseesta 11.2 seuraavat nyt tulokset:

1. Jos

σ ²

^{tunnetaan,niin}

P

x i

^on

µ

^{:ntyhjentävätunnusluku (}

µ

^tuntema-

ton);

2. Jos

µ

^{tunnetaan, niin}

P

(x i − µ) ²

^on

σ ²

^{:n tyhjentävä tunnusluku (}

σ ²

tuntematon);

3. Jos

θ = (µ, σ ² )

^on tuntematon, niin

( P x i , P

x ² _i )

^on

θ

^{:n tyhjentävä}

tunnuslukupari.

11.4.3 Minimaalinen tyhjentävyys

Jos

x 1 , . . . , x n

^onotosnormaalijakaumasta

N(µ, 1)

^,silloinesimerkiksi

P x i

^ja

x

^ovat

µ

^:ntyhjentäviä tunnuslukuja. Myös lukupari

( P m

i=1 x i , P n

i=m+1 x i )

^ja

järjestystunnuslukujen joukko

(x (1) , . . . , x (n) )

^ovat

µ

^{:n suhteen} tyhjentäviä.

Huomaa, että

x

^{on muiden} tyhjentävien tunnuslukujen funktio. Toisaalta esimerkiksi järjestystunnuslukujen joukko

(x (1) , . . . , x (n) )

^{ei ole}

x

^{:n funktio.}

Siksi on hyödyllistä tarkastella ns. minimaalisen tyhjentävyyden käsitettä.

Intuitiivisesti luonnehtien minimaalisestityhjentävä tunnusluku tiivistääin-

formaatiota mahdollisimmanpaljon siten, että mitään oleellista parametria

koskevaa informaatiotaei menetetä.

Määritelmä 11.6 Tyhjentäviätunnusluku

T = t(X ₁ , . . . , X _n )

^onminimaa-

lisesti tyhjentävä jos se on tyhjentävä ja jokaista toista tyhjentävää tunnus-

lukua

V

^{kohti onolemassasellainen funktio}

g

^{, että}

T = g(V )

^.

Tunnusluku on minimaalisesti tyhjentävä, jos havaintoaineistoa ei voi-

da tiivistää enempää. Jos tyhjentävän tunnusluvun dimensio on sama kuin

parametriavaruuden dimensio,niintyhjentävä tunnusluku onminimaalisesti

tyhjentävä.

Esimerkki 11.13 Jatketaan Esimerkkiä 11.11 ja osoitetaan, että

t = P x i

on

θ

^{:ntyhjentävä} tunnusluku, kunotos

x 1 , . . . , x n

^{onBernoullinjakaumasta}

Ber(θ)

^.Olkoon

s = s(x 1 , . . . , x n )

^{mikätahansatoinen}

θ

^{:ntyhjentävätunnus-}

luku.Silloin Tekijälauseen (11.2) nojalla

f (x 1 , . . . , x n ; θ) = g(s, θ)h(x 1 , . . . , x n ).

Yhdistämällätämä tulokseen(11.4.1) huomaamme,että

θ ^t (1 − θ) ^{n − t} = g(s, θ)h(x 1 , . . . , x n )

kaikilla

θ

^{:n arvoilla. Nyt siis millä tahansa annetuilla}

θ

^{:n arvoilla}

θ 1

^ja

θ 2

kummallakinpuolella muodostetut suhteet ovatyhtäsuuret:

(θ 1 /θ 2 ) ^t [(1 − θ 1 )/(1 − θ 2 )] ^{n − t} = g (s, θ ₁ ) g (s, θ 2 ) .

Joserityisesti valitaan

θ 1 = 2/3

^ja

θ 2 = 1/3

^{ja otetaanpuolittain}logaritmit, saadaan

t = 1

2 log 2 log 2 ⁿ g(s, 2/3)

g(s, 1/3) .

Tästä nähdään, että

t

^on

s

^{:n funktio, joten}

t

^on minimaalisesti tyhjentävä.

Esimerkki 11.14 Oletetaan, että

x 1 , . . . , x n

^{on otos} normaalijakaumasta

N(µ, 1)

^{. Silloin} tekijälauseen 11.2 nojalla

x

^on

µ

^{:n tyhjentävä} tunnusluku.

Havaintojen

x 1 , . . . , x n

perusteella saadaanuskottavuusfunktio

L(µ; x 1 , . . . , x n ) = 1

√ 2π n

exp

− 1 2

X (x i − µ) ²

.

Tästä saadaan

log L(θ; x 1 , . . . , x n ) = − n

2 log(2π) − 1 2

X (x i − x) ² − n

2 (x − µ) ²

=

^vakio

− n

2 (x − µ) ² ,

jotenuskottavuusfunktio riippuuhavainnoistavainotoskeskiarvon

x

^kautta.

Oletetaannyt,ettävainotoskeskiarvoolisikirjattu.Koska

X ∼ N(1, 1/n)

^,

niinhavaintoon

x

^perustuva uskottavuusfunktio on

L(µ; x) = 1

p 2π/n exp n

− n

2 (x − µ) ² o ,

taivastaavasti

log L(µ; x) =

^vakio

− n

2 (x − µ) ² .

Näin siis koko aineistoon

x 1 , . . . , x n

^perustuva uskottavuus on sama kuin

otoskeskiarvoon

x

^perustuva uskottavuus.

Edellisessäesimerkissaesitettyätulostavastaavatuloskoskeekaikkiatyh-

jentäviä tunnuslukuja. Jos

t

^{on jokin} havaintojen

x 1 , . . . , x n

^{funktio, niin}

havaintoihin

x 1 , . . . , x n

^perustuva uskottavuus on sama kuin havaintoihin

x 1 , . . . , x n

^ja

t

^perustuva uskottavuus. Jos

t

^on tyhjentävä,niin

L(θ; x 1 , . . . , x n ) = L(θ; x 1 , . . . , x n , t) = f (x 1 , . . . , x n , t; θ)

=f (t; θ)f(x 1 , . . . , x n | t)

=

^vakio

× f (t; θ)

=

^vakio

× L(θ; t),

(11.4.2)

mikätarkoittaa,että

L(θ; x 1 , . . . , x n )

^{voidaanlaskeapelkästään}

t

^:navulla.

Esimerkissä11.13näytettiin,mitentodennäköisyysfunktion

f θ (x 1 , . . . , x n )

avulla voidaan osoittaa, että

θ

^{:n tyhjentävä tunnusluku on} minimaalisesti tyhjentävä. Merkitään nyt lyhyesti

(x 1 , . . . , x n ) = x

ja

(X 1 , . . . , X n ) = X

. Jokaista annettua havaintovektoria

x

(otosta) vastaa uskottavuusfunktio

L

siten, että

L x (θ) = f ( x ; θ), θ ∈ Θ.

L x

^{on siis kuvaus} otosavaruudelta

S X

⁽

X

:n arvojoukko) uskottavuusfuntio- den joukkoon

L = { L x : θ → f( x ; θ), x ∈ S _X } .

Tämäontunnusluku, jonkaarvotovatfunktioita. Jos

X = x

niintunnuslu- ku

L

^{saa arvon}

L x

^{. Jos}

X

^on diskreetti, niinannetulla parametrin

θ

^arvolla

L ^x (θ)

^on todennäköisyys, että havaitaan

x

. Jatkuvassa tapauksessa

L ^x (θ)

on verrannollinen todennäköisyyteen, että havainto sattuu pieneen

x

:n si- sältävään suorakaiteeseen. Kun ajattelemme

θ

^{:n funktiota}

L x (θ)

^{, se antaa}

kaikkien

θ

^{:n arvojen} uskottavuuden, kunon havaittu

x

.

Esimerkki 11.15 Jatketaan Esimerkkiä 11.12. Meillä on otos

x 1 , . . . , x n

normaalijakaumasta

N (µ, σ ² )

^.Kaksiulotteinen tunnusvektori

t = (t 1 , t 2 ) = ( X

x i , X x ² _i )

on parametrivektorin

(µ, σ ² )

^tyhjentävä tunnusvektori. Kun merkitään

θ = (θ 1 , θ 2 ) = (µ, σ ² )

^,saadaan

L ^x (θ) = (2πθ 2 ) ^{− n/2} exp

− nθ ₁ ² 2θ 2

exp

− 1 2θ 2

(t 2 − 2θ 1 t 1 )

.

Nyt

θ

:nfunktiona

L x ( · )

^{määrittää}tunnusvektorin

(t 1 , t 2 )

^,koska esimerkiksi

t ₂ = 2 log L x (0, 1) − n log 2π

javastaavasti

t ₁

^onmääriteltävissä

L x (0, 1)

^:nja

L x (1, 1)

^{:navulla.Näinuskot-}

tavuusfunktio

L

^{onyhtäpitävä}tunnusvektorin

(t 1 , t 2 )

^kanssa,joten

L

^ontyh-

jentävä.Päättelemällä samallatavallakuinEsimerkissä11.13 voidaan osoit-

taa, että

(t ₁ , t ₂ )

^ja

L

^ovatminimaalisesti tyhjentäviä.

Uskottavuusfunktioon

L ^x ( · )

^{läheisesti liittyväfunktio saadaan määritte-}

lemällätunnusluku

(11.4.3)

t( x ) = L x ( · ) L x (θ 0 ) ,

missä

θ 0

^onsellainen

θ

^:narvo,että

L ^x (θ 0 ) > 0

^{. T}ekijälauseenavullavoidaan näyttää, että

t( x )

^ontyhjentävä, kun lauseessa merkitään

g(t, θ) = L x (θ) L x (θ 0 )

ja

h( x ) = L x (θ 0 )

^{. Suure (11.4.3) on}

θ

^{:n ja}

θ 0

^:n uskottavuussuhde. Edellä osoitettiin(identiteetti(11.4.2)), että uskottavuusfunktio voidaan määrittää

pelkästääntunusluvun

t

^avulla,jos

t

^ontyhjentävä.Olipa

t

^{siismikätahansa}

tyhjentävätunnusluku,

L x ( · )

^{voidaanlausua}

t

^:nfunktiona.Uskottavuusfunk- tioon siisminimaalisestityhjentävä.

Lause 11.3 Jos

t

^on

θ

^{:n tyhjentävä} tunnusluku, niin

θ

^{:n koko aineistoon}

x 1 , . . . , x n

^perustuva uskottavuus on sama kuin pelkästään tunnuslukuun

t

perustuva uskottavuus. Siksi uskottavuusfunktio on minimaalisesti tyhjentä-

vä.

Onsyytämuistaa,ettäkaksiuskottavuusfunktiotaovatsamat,josneovat

verrannolliset.Lauseesta11.3seuraa,ettämikätahansauskottavuusfunktion

bijektiivinen kuvaus onminimaalisestityhjentävä.

Esimerkki 11.16 Olkoon

x 1 , . . . , x n

^otos normaalijakumasta

N(µ, 1)

^{. Sil-}

loinuskottavuusfunktio

L(µ; x 1 , . . . , x n ) =

^vakio

× exp[ − n

2 (x − µ) ² ]

onotoskeskiarvon

x

bijektiivinenkuvaus.Josmeilläonkaksieriotosta

x 1 , . . . , x n

ja

y ₁ , . . . , y _n

^{, niin}

L(µ; x ₁ , . . . , x _n ) =

^vakio

× L(µ; y ₁ , . . . , y _n )

^{jos ja vain jos}

x = y.

Tämä osoitaa, että

x

^on minimaalisesti tyhjentävä. Vastaavanlaisella päät- telyllä voidaan osoittaa, että

(x, s ² )

^on parametrivektorin

(µ, σ ² )

^minimaa-

lisesti tyhjentävä tunnuslukupari, kun ostos onnormaalijakumasta

N(µ, σ ² )

ja

s ²

^on otosvarianssi.

Monotoninen uskottavuussuhde

Minimaalinen tyhjentävyys voidaan luonnehtia uskottavuussuhteen

t( x ) = L x ( · ) L x (θ ₀ )

avulla. Koska

t( x )

^on uskottavuusfunktion bijektiivinen kuvaus, seon mini- maalisesti tyhjentävä. Millä tahansa

θ

^{:n arvojen}

θ 0 6 = θ 1

sellaisillavalinnoil- la,että

L ^x (θ 0 ) > 0

^,uskottavuussuhde

L ^x (θ 1 )/L ^x (θ 0 )

^on

t( x )

^:n bijektiivinen kuvaus. Jos

t( x )

^{on skalaari,} ominaisuutta kutsutaam monotoniseksi uskot- tavuussuhteeksi. Kun

θ 1

^lähestyy

θ 0

^{:aa, niin}

L x (θ 1 )

L x (θ 0 ) ≈ L x (θ 0 ) + L ^′ x (θ 0 )(θ 1 − θ 0 ) L x (θ 0 )

=1 + ∂ log L x (θ 0 )

∂θ 0

(θ ₁ − θ ₀ ).

Tämäosoittaa,että

t( x )

^onminimaalisestityhjentävä,jospistesuure

∂ log L ^x (θ ⁰ )

∂θ 0

on

t( x )

^:n bijektiivinen funktio.

11.5 Eksponentiaalinen perhe

Eksponentiaalinenjakaumaperheeseen kuuluvat useimmattavallisimmatja-

kaumat kuten normaali-, binomi- ja gammajakaumat sekä Poissonin jakau-

ma. Eksponentiaalisen perheeseen jakauman tiheysfunktio (tai todennäköi-

syysfunktio) onmuotoa

(11.5.1)

f(x; θ) = exp[t(x)η(θ) − A(θ) + c(x)],

kun

x ∈ S

^{, missä arvoalue}

S

^{ei riipu} parametrista

θ

^{. Funktiot}

η( · ), t( · ), A( · )

ja

c( · )

^{ovatannettuja. Parametria}

η( · )

^kutsutaan luonnolliseksiparametriksi ja tunnuslukua

t( · )

luonnolliseksitunnusluvuksi.

Yleisen

p

-parametriseen eksponentiaaliseen perheeseen kuuluvan jakau- man logaritmoitutiheysfunktio (tai todennäköisyysfunktio) onmuotoa

(11.5.2)

log f(x; θ ) =

p

X

i=1

η i ( θ )t i (x) − A( θ ) + c(x),

missä

θ = (θ 1 , . . . , θ p )

^ja

A( θ ), c(x), η i ( θ )

^ja

T i (x)

^{ovat tunnettuja funktioi-}

ta. Lisäksi muuttujan

x

^{arvoalue ei riipu} tuntemattomasta parametrista

θ

. Parametreja

η i

^kutsutaan luonnollisiksi parametreiksi ja tunnuslukuja

T i (x)

luonnollisiksi tunnusluvuiksi. Oletetaan lisäksi, että luonnolliset parametrit

η i

^{eivätolekeskenään}lineaarisestiriippuviaeivätkäluonnollisettunnusluvut

T i (x)

^{keskenään. Voidaan osoittaa, että} luonnolliset tunnusluvut

T i (x)

^ovat

minimaalisestityhjentäviä.

Eksponentiaalinen perhe on täysiasteinen, jos luonnollisten parametrien

avaruussisältääavoimenjoukon.Esimerkiksi

2

-ulotteinenneliö

2

-ulotteisessa (2D) Euklidisessa avaruudessa sisältää avoimen joukon, mutta esimerkiksi

suora2D-avaruudessaeisisälläavointajoukkoa. Tyypillisestieksponentiaali-

nenperheontäysiasteinen,josluonnollistenparametrienlukumääräonsama

kuin tuntemattomien parametrienlukumäärä.

Josluonnollistenparametrienvälilläonepälineaarisiariippuvuuksia, niin

luonnollistentyhjentävien parametrienlukumäärä onsuurempi kuin vapait-

ten parametrien lukumäärä ja silloin eksponentiaalista perhettä kutsutaan

kaareutuvaksi. Monet teoreetiset tulokset pitävät paikkansa vain täysiastei-

sissamalleissa.Eksponentiaalinenperhesisältääsekäjatkuvienettädiskreet-

tien satunnaismuuttujien jakaumia. Kuten jo edellä mainittiin, normaali-,

binomi-jagammajakaumakuuluvateksponentiaaliseenperheeseen,kuntaas

Cauhyn jakauma ja

t

^{-jakaumaeivät kuulu.}

Esimerkki 11.17 Tarkastellaannormaalijakaumaa

N( θ )

^,missä

θ = (µ, σ ² )

ja molemmat parametrit ovat tuntemattomia. Silloin jakauman tiheysfunk-

tion logaritmion

log f (x; µ, σ ² ) = µx σ ² − x ²

2σ ² − µ ² 2σ ² − 1

2 log(2πσ ² ).

Tämä normaalijakauma on täysiasteinen eksponentiaalisen perheen malli,

luonnolliset parametrit ovat

η 1 = _σ ^{µ 2}

^ja

η 2 = − 2σ ^{1 2}

^sekä luonnolliset tun- nusluvut

t ₁ (x) = x

^ja

t ₂ (x) = x ²

^.

Oletetaan nyt, että satunnaismuuttujan

X ∼ N( θ )

variaatiokerroin on tunnettu vakio

a = σ/µ

^{, missä}

µ > 0

^{. Silloin}

N(µ, a ² µ ² )

^{kuuluu kaareutu-}

vaan eksponentiaaliseen perheeseen.Vaikkamallissaonvainyksi tunematon

parametri, luonnolliset tunnusluvut

t 1 (x) = x

^ja

t 2 (x) = x ²

^{ovat edelleen}

minimaalisestityhjentäviä.

Esimerkki 11.18 Poissonin jakauman

Poi(µ)

tapauksessa todennäköisyys- funktion logaritmion

log f(x; µ) = x log µ − µ − log x!.

Siksi

Poi(µ)

^on täysiasteinen yhden parametrin eksponentiaalisen perheen malli.

Jos

X

^{noudattaasellaista}typistettyäPoissoninjakaumaa,ettäarvoa

X = 0

^{eihavaita, niinarvojen}

x = 1, 2, . . .

todennäköisyydet ovat

f _µ (x) = e ^{− µ} µ ^x /x!

1 − e ^{− µ} ,

joten

log f (x; µ) = x log µ − µ − log(1 − e ^{− µ} ) − log x!.

Tämä on myös yhden parametrin eksponentiaalisen perheen malli, jolla on

samaluonnollinenparametrijatunnusluku,muttafunktio

A(µ)

^onmuuttuu.

Jos

X ₁ , . . . , X _n

^onotos eksponentiaalisen perheen jakaumasta, niinotok- sen yhteisjakauma kuuluu eksponentiaaliseen perheeseen. Olkoon

x 1 , . . . , x n

otos normaalijakaumasta

N(µ, σ ² )

^{, niin}yhteisjakaumantiheysfunktion loga- ritmion

log f(x 1 , . . . , x n ; µ, σ ² ) = µ P

i x i

σ ² − P

i x ² _i

2σ ² − nµ ² 2σ ² − n

2 log(2πσ ² ).

Tässäjakaumallaonsamatluonnollisetparametrit

η 1 = _σ ^{µ 2}

^ja

η 2 = − 2σ ^{1 2}

^kuin

normaalijakaumallaEsimerkissä 11.17.Yhteisjakauman luonnolliset tunnus-

luvut ovat

t 1 (x 1 , . . . , x n ) = P

i x i

^ja

t 2 (x 1 , . . . , x n ) = P

i x ² _i

^.

Tarkastellaannyt lähemmin funktion

A(η)

^rooliaeksponentiaalisen per- heen jakauman tiheysfunktion/todennäköisyysfunktion lausekkeessa. Olete-

taan, että

X

^on satunnaismuuttuja, jonka tiheysfunktio on

exp[c(x)]

^{ja mo-}

menttifunktio

M (η) = E(e ^ηX ).

Olkoon

A(η) ≡ log M (η)

^{, jota kutsutaan} kumulantteja generoivaksi funk- tioksi.Silloin

Z

e ^ηx+c(x) d x = e ^A(η)

tai

Z

e ^{ηx − A(η)+c(x)} d x = 1

kaikilla

η

^{. Näinsiisfunktio}

(11.5.3)

f (x; η) = e ^{ηx − A(η)+c(x)}

määrittelee eksponentiaaliseen perheeseen kuuluvan tiheysfunktion (tai to-

dennäköisyysfunktion).Tätämenetelmääkutsutaansatunnasimuuttujaneks-

ponenttikäännöksi.Alkuperäinensatunnasimuuttuja

X

^{liittyyarvoon}

η = 0

^.

Jokaisellemuotoa (11.5.3)olevallefunktiollepätee, että

µ = E(X; η) = A ^′ (η)

ja

Var(X; η) = A ^′′ (η) = ∂

∂η E(X; η) = v(µ).

Siksi

A(η)

määrittelee tietyn yhteyden odotusarvon ja varianssinvälille.

Eksponentiaalinen hajontamalli

Oletetaan nyt, että parametrien

θ

^ja

φ

logaritmoitu uskottavuusfunktio on muotoa

(11.5.4)

log L(θ, φ) = xθ − A(θ)

φ + c(x, φ),

missä

A(θ)

^ja

c(x, φ)

^{ovat annettuja} funktioita. Tässä esitysmuodossa pa- rametria

θ

^kutsutaan kanoniseksi parametriksi ja

φ

^:tä hajontaparametriksi.

Valitsemallafunktiot

A(θ)

^ja

c(x, φ)

^{eritavoinsaadaan} määriteltyäerilaisia todennäköisyysmalleja. Jos

X

^ondiskreetti, niinsillointäytyy olla

X

x

exp

xθ − A(θ)

φ + c(x, φ)

= 1,

mikämäärittelee

A(θ)

^:nja

c(x, φ)

^{:nvälilletietyn yhteyden.}

Hajontaparametri salliivarianssin vaihdella vapaasti odotusarvosta riip-

pumatta:

µ = E θ (X) = A ^′ (θ)

ja

Var(X; θ) =φ A ^′′ (θ)

=φ ∂

∂θ E(X; θ) = φ v(µ).

Tämä on eksponentiaalisen hajontamallin suurin etu jäykempään malliin

(11.5.2)verrattuna.

Käytännössäfunktio

A(θ)

^{annetaanmallissa(11.5.4)}eksplisiittisesti,kun taas funktio

c(x, φ)

^jätetään tavallisesti tarkemmin määrittelemättä. Tämä ei ole ongelma niin kauan kuin on kyse vain

θ

^:n estimoinnista, koska pis- tefunktio ei riipu

c(x, φ)

^{:sta. Sen sijaan}

φ

^:n estimoimiseksi tarvitaan koko uskottavuusfunktio.

Esimerkki 11.19 Normaalijakauma

N(µ, σ ² )

logaritmoituuskottavuusfunk- tiovoidaan kirjoittaamuodossa

log L(µ, σ ² ) = xµ − µ ² /2 σ ² − 1

2 log σ ² − x ² 2σ ² .

Normaalijakauma on siis eksponentiaalisen perheen malli, jonka luonnolli-

nen parametri on

µ

^, hajontaparametri

φ = σ ² , A(µ) = µ ² /2

^ja

c(x, φ) =

− ¹ ₂ log φ − ¹ ₂ x ² /φ

^{.Tässä siis}

c(x, φ)

^{:nlauseke tunnetaan.}

Esimerkki 11.20 Poissoninjakauman

Poi(µ)

logaritmoituuskottavuusfunk- tioon muotoa

log L(µ) = x log µ − µ − log x!.

Tässä mallissaluonnollinen parametri on

θ = log µ

^, hajontaparametri

φ = 1

ja

A(θ) = µ = e ^θ

^.

Pitämällä

A(θ) = e ^θ

^{vakiona ja} vaihtelemallahajonataparametria

φ

^voi-

daanmuodostaaPoissoninmalleja,joissaonjokoyli-taialihajontaa.Samalla

odotusarvolla

E(X) = µ

^saadaan

Var(X) = φA ^′′ (θ) = φµ.

Funktion

c(x, φ)

^{täytyy toteuttaa} identiteetti

∞

X

x=0

exp

xθ − e ^θ

φ + c(x, φ)

= 1,

kaikilla

θ

^ja

φ

^.

Esimerkki 11.21 Tarkastettiin

20

^{uudenautonotoksessa} värivikojenluku- määrä käyttäen tiettyäkokeellista menetelmää.Tulokseksi saatiin seuraavat

lukumäärät:

0 10 1 1 1 2 1 4 11 0 5 2 5 2 0 2 0 1 3 0

Otoskeskiarvoon

x = 2.55

^jaotosvarianssi

s ² = 9.85

^{,mikäosoittaaylihajon-}

taa. Jos käytetään Poissonin tyyppistä mallia,jossa

A(θ) = e ^θ

^{, niin}

Var _θ (X) = φ E _θ (X).

Momenttimenetelmällä hajontaparametrin

φ

^estimaattion

φ ˆ = 9.84/2.55 =

3.86

^{. Aivan ilmeisesti}hajontaparametrinarvoon suurempi kuin

1

^.

Minimaalinen tyhjentävyys ja eksponentiaalinen perhe

Minimaalisentyhjentävyyden ja eksponentiaalisen perheen välilläon tärkeä

teoreettinen yhteys. Lievien oletusten vallitessa tyhjentävä (minimaalisesti

tyhjentävä) tunnusluku (tunnusvektori) on olemassa jos ja vain jos

f θ (x)

kuuluu täysiasteiseen eksponentiaaliseen perheeseen. Eksponentiaalisen per-

heen rakenteesta taas seuraa, että uskottavuusfunktiolla on yksikäsitteinen

maksimi ja SUE on tyhjentävä. Jos siis tyhjentävä estimaatti (tunnusluku)

onolemassa, niinseon SUE.