Rekursiiviset residuaalit

Ekonometrian

kurssin

(S721339/805683S/805339A) luentomuistiinpanot

Syksy 2004

M. Rahiala

1 JOHDANTO

1.1 Er¨ait¨a v¨altt¨am¨att¨omi¨a taustatietoja

1.1.1 Tilastollisen p¨a¨attelyn keskeisimm¨at kulmakivet

Reaaliarvoisia satunnaismuuttujia merkit¨a¨an t¨all¨a kurssilla pienill¨a kirjaimilla.

Suurilla kirjaimilla merkit¨a¨an matriiseja ja vektoreita, joista puhutaan tarkem- min luvussa 1.1.2.

M¨a¨aritelm¨a 1.1.1: Reaaliarvoisen satunnaismuuttujan x kertym¨afunktioksi Fx

sanotaan funktiota

Fx(t) =P(x≤t) t∈ R¹ .

On helppo n¨ahd¨a, ett¨a jokaisella kertym¨afunktiolla on ominaisuudet (i) Fx on kasvava

(ii) F_x on oikealle jatkuva (iii) Fx(−∞) = 0 ja FX(∞) = 1 .

Toisaalta jokainen funktio, jolla on ominaisuudet (i) - (iii), voidaan tulkita jonkin jakauman kertym¨afunktioksi. Kun kertym¨afunktio tunnetaan, voidaan kaikkien mahdollisten v¨alien todenn¨ak¨oisyydet P(a < x < b) laskea, ja niiden avulla puolestaan voidaan muodostaa kaikkientapahtumien (x∈A) todenn¨ak¨oisyydet, kunhan A on muodostettavissa v¨aleist¨a numeroituvalla m¨a¨ar¨all¨a joukko-opillisia alkeisoperaatioita (yhdiste, leikkaus, komplementti). Tapahtumaa (x∈A) sano- taan melkein varmaksi,mik¨ali P(x∈A) = 1.

M¨a¨aritelm¨a 1.1.2: Satunnaismuuttujan x jakaumaa sanotaan jatkuvaksi, jos

F_x on derivoituva ”melkein kaikkialla”, ts. jos on olemassa integroituva funktio

fx:R¹−→ R¹ , jolle p¨atee

Fx(t) =P(x≤t) = Z t

−∞

fx(u)du jokaisella t∈ R¹ ,

ts. jolle fx(t)≡F_x⁰(t) = _dt^dFx(t) (korkeintaan numeroituvaa pistejoukkoa lukuun ottamatta).

M¨a¨aritelm¨a 1.1.3: Jatkuvan satunnaismuuttujan x odotusarvoksi sanotaan lu- kua

E(x) = Z ∞

−∞

t·fx(t) dt ,

mik¨ali po. integraali on hyvin m¨a¨aritelty. Transformoidun muuttujan g(x) odo- tusarvoksi sanotaan (vastaavin ehdoin) lukua

E(g(x)) = Z ∞

−∞

g(t)·fx(t) dt .

Lukuja

αk = Z ∞

−∞

t^k·fx(t) dt , k= 1,2, ....

sanotaan x :n origomomenteiksi, mik¨ali ne ovat hyvin m¨a¨ariteltyj¨a.

Merkit¨a¨an nyt x :n ensimm¨aist¨a momenttia (ts. sen odotusarvoa) symbolilla

µ=α₁ . T¨all¨oin voidaan m¨a¨aritell¨a x :n keskusmomentit

µk=E(x−µ)^k= Z ∞

−∞

(t−µ)^k·fx(t) dt , k= 2,3, .... .

Huomattakoon, ett¨a µk on olemassa jos ja vain jos αk on olemassa. Lis¨aksi voidaan helposti n¨ahd¨a, ett¨a α_k:n olemassaolo takaa my¨os alempien kertalukujen momenttien α₁, ..., α_k−1 ja µ₂, ..., µ_k−1 olemassaolon.

Erityismaininnan ansaitsee toinen keskusmomentti

µ2=E(x−µ)²= var(x) =σ_x² ,

jota kutsutaan x :n varianssiksi. Sen neli¨ojuurta σx kutsutaan x :n hajon- naksi.

M¨a¨aritelm¨a 1.1.4: Tarkastellaan nyt kahta samassa mallikokonaisuudessa (sa- massa ”todenn¨ak¨oisyyskent¨ass¨a”) m¨a¨aritelty¨a satunnaismuuttujaa x ja y . Yh- dess¨a niit¨a voidaan ajatella er¨a¨anlaisena kaksiulotteisena ”vektorimuuttujana”

Z = (x y)⁰ . T¨am¨an vektorimuuttujan jakauma (tai x :n ja y :n ”yhteisja- kauma”) voidaan karakterisoida ns. kertym¨afunktion

F_Z(s, t) =F_x,y(s, t) =P(x≤s , y≤t) s, t∈ R¹

avulla, ts. kaikki jakaumaan liittyv¨at todenn¨ak¨oisyydet voidaan johtaa t¨ast¨a kahden argumentin reaaliarvoisesta funktiosta.

Mik¨ali kertym¨afunktiolla Fx,y(s, t) on hyvin m¨a¨aritellyt, jatkuvat sekaderivaatat

fZ(s, t) =fx,y(s, t) = ∂²

∂s ∂tFx,y(s, t)

”melkein kaikkialla”, sanotaan yhteisjakaumaa jatkuvaksi ja funktiota fx,y(s, t)

sen tiheysfunktioksi. T¨am¨a nimitys johtuu tietenkin siit¨a, ett¨a fx,y(s, t)≥0 kai- killa s, t ja

F_x,y(s, t) = Z s

−∞

Z t

−∞

f_x,y(s⁰, t⁰) ds⁰dt⁰ .

M¨a¨aritelm¨a 1.1.5: Jos muuttujien x ja y yhteisjakauma on jatkuva, ovat my¨os ns. ehdolliset jakaumat (y |x =s ja x |y =t) jatkuvia ja niiden tiheysfunktiot ovat verrannollisia fx,y(s, t)- pinnan pystysuoriin poikkileikkauskuvioihin

f_y|x=s(t)∝f_x,y(s, t) , t∈ R¹ ja f_x|y=t(s)∝f_x,y(s, t) , s∈ R¹ .

Jotta n¨aiden ehdollisten tiheysfunktioiden normitukset saataisiin oikein suorite- tuksi, on m¨a¨aritelt¨av¨a

f_y|x=s(t) =fx,y(s, t)

f_x(s) , t∈ R¹

ja

fx|y=t(s) = f_x,y(s, t)

fy(t) , s∈ R¹ .

T¨ass¨a fx(s) ja fy(t) edustavat x :n ja y :n ns. reunajakaumien tiheysfunktioita, jotka saadaan yhteisjakauman tiheysfunktiosta fx,y(s, t) kaavoilla

fx(s) = Z ∞

−∞

fx,y(s, t)dt

ja

fy(t) = Z ∞

−∞

fx,y(s, t)ds .

M¨a¨aritelm¨a 1.1.6: Muuttujaa x sanotaan muuttujasta y riippumattomaksi (x k y), mik¨ali kaikki ehdolliset jakaumat x|y=t (kaikilla t) ovat samanlaisia, ts. mik¨ali k¨asitys y :n arvosta ei mill¨a¨an tavalla muuta meid¨an k¨asityst¨amme

x :n k¨aytt¨aytymisest¨a. Kuten helposti n¨ahd¨a¨an, t¨am¨a ehto toteutuu jatkuvien muuttujien yhteydess¨a silloin ja vain silloin, kun

fx,y(s, t)≡fx(s)·fy(t) ∀ s, t∈ R¹ .

T¨ast¨a n¨ahd¨a¨an, ett¨a riippumaattomuusominaisuus on itse asiassa symmetrinen:

Jos x k y , on my¨os y k x . T¨ast¨a syyst¨a t¨all¨oin yleens¨a sanotaankin x :n ja y :n olevan toisistaan riippumattomia. Mik¨ali muuttujat eiv¨at ole toisistaan riippumattomia, niit¨a sanotaan toisistaan riippuviksi.

M¨a¨aritelm¨a 1.1.7: Muuttujien x ja y johdannaisten g(x, y) odotusarvo m¨a¨ari- tell¨a¨an kaavalla

Eg(x, y) = Z ∞

−∞

Z ∞

−∞

g(s, t)·fx,y(s, t)dsdt

Helposti n¨ahd¨a¨an, ett¨a tulos

x k y =⇒ E(h1(x)·h2(y)) =Eh1(x)·Eh2(y)

p¨atee aina, kun kaavassa esiintyv¨at odotusarvot ovat hyvin m¨a¨ariteltyj¨a.

Mik¨ali x:n ja y :n toiset momentit (varianssit) ovat hyvin m¨a¨ariteltyj¨a, sanotaan

x :n ja y :n v¨aliseksikovarianssiksi lukua

σ_x,y= cov(x, y) =E(x−Ex) (y−Ey) .

Havaitaan heti, ett¨a

x k y =⇒ cov(x, y) = 0 ,

mutta k¨a¨anteinen tulos ei miss¨a¨an tapauksessa pid¨a paikkaansa.

M¨a¨aritelm¨a 1.1.8: Koska kovarianssin k¨asite on mittakaavasidonnainen, k¨ay- tet¨a¨an lineaarisen riippuvuuden mittarina useimmiten ns. korrelaatiokerrointa

ρx,y= corr(x, y) = cov(x, y) pvar(x)var(y) .

Edellisen kommentin mukaisesti

x k y =⇒ corr(x, y) = 0 ,

mutta

corr(x, y) = 0 6⇒ x k y .

Lis¨aksi todettakoon, ett¨a ns. Schwarzin ep¨ayht¨al¨on mukaisesti

(cov(x, y))²≤var(x)·var(y) ,

joten −1≤corr(x, y)≤1. ¨A¨ariarvot ±1 merkitsev¨at itse asiassa sit¨a, ett¨a y :n ja

x :n arvot ovat aivan tarkasti samalla suoralla, joten t¨allaisessa tilanteessa y :n ja x :n yhteisjakauma olisi singulaarinen eik¨a oikeasti jatkuva.

M¨a¨aritelm¨a 1.1.9: Tarkastellaan nyt useampiulotteista (”vektoriarvoista”) sa- tunnaismuuttujaa X = (x1 ... xm)⁰ . Muuttujan X yhteisjakauman ker- tym¨afunktiolla tarkoitetaan funktiota

F_X(t₁, ..., t_m) =F_X(T) =F_x1,...,xm(t₁, ..., t_m) =P(x₁≤t₁, ..., x_m≤t_m) ,

T = (t1 ... tm)⁰ ∈ R^m .

Mik¨ali kertym¨afunktiolla FX on hyvin m¨a¨aritellyt m. kertaluvun sekaderivaatat

fx₁,...,x_m(t1, ..., tm) = ∂^m

∂t₁· · ·∂t_mFx₁,...,x_m(t1, ..., tm)

”melkein kaikkialla” ^Rm:ss¨a, sanotaan jakaumaa jatkuvaksi.

Jos X :n komponentit ajatellaan jaetuiksi kahteen ositteeseen

X = (X⁽¹⁾⁰ X⁽²⁾⁰)⁰ = (x1 ... xk xk+1 ... xm)⁰ ,

voidaan puhua ositteiden X⁽¹⁾ ja X⁽²⁾ (moniulotteisista) reunajakaumista, joiden tiheysfunktiot ovat muotoa

fx1,...,x_k(t1, ..., tk) = Z ∞

−∞

· · · Z ∞

−∞

fx1,...,x_k,x_k+1,...,xm(t1, ..., tk, tk+1, ..., tm) dtk+1· · ·dtm

ja

fx_k+1,...,xm(tk+1, ..., tm) = Z ∞

−∞

· · · Z ∞

−∞

fx1,...,x_k,x_k+1,...,xm(t1, ..., tk, tk+1, ..., tm) dt1· · ·dtk .

Ositteen X⁽¹⁾ ehdollisen jakauman tiheysfunktio olisi muotoa

fx₁,...,x_k|x_k+1=t_k+1,...,x_m=t_m(t1, ..., tk) =fx1,...,xk,xk+1,...,xm(t1, ..., tk, tk+1, ..., tm) fx_k+1,...,x_m(tk+1, ..., tm) .

Esimerkiksi kolmen yksiulotteisen satunnaismuuttujan (x y z)⁰ yhteisk¨ayt- t¨aytymist¨a tarkasteltaessa voidaan m¨a¨aritell¨a ns. ehdollinen riippumattomuus (< x k y >|z) ominaisuutena

f_x,y|z=u(s, t)≡f_x|z=u(s)·f_y|z=u(t) ∀ s, t∈ R¹ ,

olipa u mik¨a tahansa. T¨am¨a ominaisuus on k¨ayt¨ann¨on ongelmia tutkittaessa erityisen t¨arke¨a. Esimerkiksi tilanteessa, jossa x :ll¨a ja y :ll¨a kuvattavilla empii- risill¨a suureilla ei ole mit¨a¨an suoraa yhteytt¨a kesken¨a¨an, mutta niihin molempiin vaikuttaa yhteinen, z :lla kuvattava taustatekij¨a, ilmenee x :n ja y :n k¨aytt¨ay- tymisess¨a usein n¨aenn¨aist¨a yhdenmukaisuutta. K¨aytetyn matemaattisen mallin kannalta t¨am¨a merkitsisi sit¨a, ett¨a x ja y n¨aytt¨aisiv¨at kaksiulotteisen yhteisja- kaumansa valossa riippuvan toisistaan, mutta siit¨a huolimatta x ja y olisivat (kolmiulotteisen yhteisjakauman valossa) ehdollisesti toisistaan riippumattomia, kun z on kiinnitetty (x 6k y , mutta < x k y >|z ).

M¨a¨aritelm¨a 1.1.10: Tarkastellaan (jatkuvaa) vektoriarvoista satunnaismuuttu- jaa Y = (y₁ ... y_m)⁰ , jonka komponenttien varianssit var(y_j) j= 1, ..., m ovat

¨

a¨arellisi¨a. Muuttujan Y kovarianssimatriisillatarkoitetaan m^x m- neli¨omatrii- sia

cov(Y) =E[(Y −EY)(Y −EY)⁰] =



 var(y1) ... cov(y1, ym)

. ... .

cov(y1, ym) ... var(ym)





M¨a¨aritelm¨ans¨a mukaisesti kovarianssimatriisit ovat aina symmetrisi¨a ja ei-nega- tiivisesti definiittej¨a.

Jos A on kiinte¨a n ^xm- matriisi, voidaan helposti todeta, ett¨a cov(AY) =E

(AY −A E(Y)) (AY −A E(Y))⁰

=A cov(Y) A⁰ .

(Kovarianssimatriisin ei-negatiivinen definiittisyys n¨ahd¨a¨an t¨am¨an tuloksen pe- rusteella v¨alitt¨om¨asti ajattelemalla, ett¨a n= 1, sill¨a t¨all¨oin cov(AY) =var(AY) , joka on aina ei-negatiivinen.)

M¨a¨aritelm¨a 1.1.11: P¨a¨attym¨att¨om¨an satunnaismuuttujajonon x1, x2, ..., xn, ... sa- notaan suppenevan todenn¨ak¨oisesti (in probability) kohti vakiota µ, mik¨ali

n→∞lim P( |xn−µ|≥ε ) = 0 ,

olipa ε > 0 kuinka pieni tahansa. Todenn¨ak¨oist¨a konvergenssia kutsutaan usein my¨os satunnaismuuttujajonon heikoksi konvergenssiksi. Siit¨a k¨aytet¨a¨an joko merkint¨a¨a

p lim

n→∞xn=µ tai merkint¨a¨a xn

−→p µ .

Satunnaismuuttujajonon x1, x2, ..., xn, ... sanotaan suppenevan jakaumaltaan kohti rajamuuttujaa x, mik¨ali

lim

n→∞F_xn(t) =F_x(t) jokaisessa F_x :n jatkuvuuspisteess¨a t .

(Funktion F_x oletetaan olevan hyvin m¨a¨aritelty kertym¨afunktio, mutta rajaja- kauma ei v¨altt¨am¨att¨a ole jatkuva, vaikka jonon kaikki satunnaismuuttujat xn

olisivatkin jatkuvia.)

Huomattakoon erityisesti, ett¨a jos p limn→∞xn =µ, l¨ahestyy kertym¨afunktiojono

Fx_n rajafunktiota

n−→∞lim Fx_n(t) =





0 kun t < µ 1 kun t≥µ ,

ts. muuttujajonon jakaumat l¨ahestyv¨at rajajakaumaa, joka on konsentroitunut yhteen pisteeseen µ , ts. P(x=µ) = 1 .

Lause 1.1: (Suurten lukujen laki)

Oletetaan, ett¨a x1, x2, ..., xn, ... on jono toisistaan riippumattomia, samalla tavalla jakautuneita satunnaismuuttujia (merkit¨a¨an x_n∼i.i.d.), joilla on ¨a¨arelliset toisen kertaluvun momentit. Merkit¨a¨an µ=EXn ja σ²= var(xn) . T¨all¨oin

¯ xn= 1

n Xn i=1

xi

−→p µ

kun n−→ ∞ .

Lause 1.2: (Keskeinen raja-arvolause)

Jos xn ∼i.i.d.(Fx), Exn ≡µ ja var(xn) =E(xn−µ)²≡σ²<∞, niin

yn=√

nx¯_n−µ σ

asympt.

∼ N(0,1) ,

ts.

n→∞lim Fyn(t)≡Φ(t) , jossa Φ(t) = Z t

−∞

√1

2πe^−12s2 ds .

Lause 1.3: (Moniulotteinen keskeinen raja-arvolause)

Jos Xn = (x1,n ... xm,n)⁰ ∼ i.i.d. , EXn ≡ µ = (µ1 ... µm)⁰ ja cov(X_n) =E(X_n−µ)(X_n−µ)⁰ ≡Σ on hyvin m¨a¨aritelty, p¨atee

Yn =√

n( ¯Xn−µ) ^asympt.∼ Nm(0,Σ)

jossa X^¯n =_n¹(X1+...+Xn) ja Nm(0,Σ) tarkoittaa m - ulotteista multinormaali- jakaumaa.

1.1.2 Matemaattisia merkint¨oj¨a ja m¨a¨aritelmi¨a

Merkit¨a¨an matriiseja ja vektoreita suurilla kirjaimilla ja niiden elementtej¨a pie- nill¨a. Esimerkiksi

X= (x1 ... xn)⁰ ∈ Rⁿ , A=



a11 ... a1m

. ... .

an1 ... anm



 n ^xm .

Kuten tunnettua, voidaan matriisitulon

LA(Z) =AZ Z ∈ R^m

ajatella vastaavan lineaarikuvausta L_A :R^m→ Rⁿ , jonka kuva-avaruus L_A(R^m)

on samalla A:n sarakkeiden viritt¨am¨a ^Rn:n lineaarinen aliavaruus, jota usein merkit¨a¨an symbolilla col(A).

Kuva 1.1: Kuva-avaruus col(A₁ A₂) tapauksessa n= 3 , m= 2 , jossa A1= ( 0.5 0.5 1.25 )⁰ ja A2= ( 0.5 1 1.5 )⁰ .

0 . 0 0 0

0 . 3 1 7

0 . 6 3 3

0 . 9 5 0 x

0 . 0 0 0 0 . 3 1 7 0 . 6 3 3 0 . 9 5 0

y z

0 . 0 0 0 . 7 9 1 . 5 8 2 . 3 8

Apulause 1.1: Jos Z1∈ R^m ja Z2∈ R^m ovat kaksi vektoria, joille p¨atee Z₁⁰Z2= 0, ovat Z1 ja Z2 (euklidisen geometrian mieless¨a) kohtisuorassa toisiaan vastaan (Z1⊥Z2).

Todistus: Euklidisessa geometriassa vektorin Z ∈ R^m pituus (et¨aisyys origosta) on (Pythagoraan lauseen mukaisesti) muotoa ^kZk=p

z₁²+...+z_m² =

√

Z⁰Z . Mat- riisitulon peruslaskus¨a¨ant¨ojen mukaisesti taas

kZ1+Z2k²= (Z1+Z2)⁰(Z1+Z2) =Z₁⁰Z1+Z₂⁰Z2+ 2·Z₁⁰Z2 ,

joten

Z₁⊥Z₂ ⇐⇒ Z₁⁰Z₂= 0 .

Apulause 1.2: Jos A on vajaa-asteinen (ts. r =dim(col(A)) = rank(A) < m ), se voidaan aina hajottaa muotoon

A=αβ⁰ (1.1)

jossa α on n^xr- matriisi ja β on m^xr- matriisi. T¨all¨oin siis col(A) =col(α).

M¨a¨aritelm¨a 1.1.12: Olkoon A t¨aysiasteinen. Ortogonaaliseksi projektioksi col(A):lle sanotaan matriisiin

PA=A(A⁰A)⁻¹A⁰ (1.2)

liittyv¨a¨a lineaarikuvausta. Aliavaruuden col(A)⊂ Rⁿ ortogonaaliseksi komple- mentiksi col(A)^⊥ sanotaan sit¨a ^Rn:n lineaarista aliavaruutta, jonka jokainen vektori on kohtisuorassa col(A):n jokaista vektoria vastaan.

(Ortogonaalinen projektio col(A)^⊥:lle vastaa luonnollisesti matriisia

I−PA=I−A(A⁰A)⁻¹A⁰. )

Mit¨a tahansa matriisia, jonka sarakkeet viritt¨av¨at col(A)^⊥:n, merkit¨a¨an geneeri- sell¨a symbolilla A⊥.

M¨a¨aritelm¨a 1.1.13: Lineaarikuvauksen LA ytimeksi Y(A) sanotaan niiden vektorien Z∈ R^m muodostamaa joukkoa, joille AZ= 0.

Jos A on kirjoitettu muotoon A=αβ⁰, on siis

Y(A) =col(β)^⊥=col(β⊥) .

M¨a¨aritelm¨a 1.1.14: Neli¨omatriisia A sanotaan positiivisesti definiitiksi,jos

X⁰AX >0 kaikilla X 6= 0 .

(T¨all¨oin k¨aytet¨a¨an usein merkint¨a¨a A0.)

Vastaavasti neli¨omatriisia sanotaan ei-negatiivisesti definiitiksi(tai positiivisesti semidefiniitiksi), jos X⁰AX≥0 kaikilla X∈ Rⁿ.

Neli¨omatriisin j¨aljell¨a (trace) tarkoitetaan sen diagonaalielementtien summaa tr(A) =

Xn i=1

aii .

Apulause 1.3: Symmetrinen matriisi A voidaan aina esitt¨a¨a muodossa

A=RΛR⁰= Xn i=1

λiRiR⁰_i (1.3)

jossa R = (R1 ... Rn) on ortogonaalinen (R⁰R = I) ja diagonaalimatriisi

Λ =diag(λ1, ..., λn) koostuu A:n ominaisarvoista.

Huomautus 1.1: Symmetrisen matriisin ominaisarvot ovat aina reaalisia, joten spektraaliesityksen (1.3) kaikki osatekij¨at ovat reaalisia. Hajotelmasta (1.3)

seuraa tietenkin, ett¨a

A^k=RΛ^kR⁰= Xn i=1

λ^k_iRiR⁰_i

kaikille kokonaisluvuille k. Lis¨aksi

det(A) = Yn i=1

λi ja tr(A) = Xn i=1

λi .

Apulause 1.4: Jos symmetrinen matriisi on positiivisesti definiitti, on aina l¨oy- dett¨aviss¨a sellainen alakolmiomatriisi L ja sellainen yl¨akolmiomatriisi U, ett¨a

A=U U⁰=LL⁰ . (1.4)

T¨at¨a hajotelmaa kutsutaan Cholesky- dekompositioksi.

M¨a¨aritelm¨a 1.1.15: Olkoon F = (F1 ... Fn)⁰ : R^m → Rⁿ kuvaus, jonka kom- ponenttifunktioilla F_j (j = 1, ..., n) on jatkuvat osittaisderivaatat. T¨all¨oin F:n derivaattamatriisiksipisteess¨a X ∈ R^m sanotaan matriisia

DF(X) =





∂F₁

∂x1 ... _∂x^∂F1 . ... .m

∂F_n

∂x₁ ... _∂x^∂Fn

m



 .

Jos n= 1, sanotaan vektoria ∇F(X) =DF(X)⁰ funktion F gradienttivektoriksi ja matriisia

D²F(X) =D(DF(X)) =

∂²F

∂x_i∂x_j

F:n Hessin matriisiksi.

Jos F on kahdesti jatkuvasti derivoituva, on D²F(X) aina symmetrinen.

Huomautus 1.2: M¨a¨aritelm¨an 1.1.15 mukaiset derivoimiss¨a¨ann¨ot ovat kutakuin- kin koulussa opittujen kaltaisia, sill¨a esimerkiksi

D(AX)≡A , D(X⁰AX) = 2X⁰A

ja

DG◦F(X) =DG(F(X)) DF(X) .

Mainittakoon my¨os 2. asteen Taylor- kehitelm¨a pisteess¨a X_o, kun n= 1:

F(X) =F(Xo) +DF(Xo)(X−Xo) + 1

2!(X−Xo)⁰D²F(Xo)(X−Xo)+kX−Xok o(X−Xo) ,

jossa o(Z) toimii geneerisen¨a symbolina termille, joka on pienemp¨a¨a suuruus- luokkaa kuin Z, ts. jolle limZ→0 1

kZk o(Z) = 0.

M¨a¨aritelm¨a 1.1.16: Matriisin A (m ^x n) ja B (p ^x r) ns. Kroneckerin tulolla tarkoitetaan mp ^x nr- matriisia

A⊗B=



a11B ... a1nB

. ... .

a_n1B ... a_mnB



 .

Ns. vec- operaattori taas m¨a¨aritell¨a¨an seuraavasti: Jos A on m ^x n- matriisi

A= (A₁ ... A_n) , A_i∈ R^m ,

tarkoitetaan vec(A):lla mn- ulotteista vektoria

vec(A) =



 A1

. . A_n



∈ R^mn .

Jos A on symetrinen n^xn- matriisi, tarkoittaa vec(A) sit¨a ¹₂n(n+ 1)- ulotteista vektoria, joka koostuu A:n alakolmion elementeist¨a. Vastaavasti vec(A) koostuu

A:n yl¨akolmion elementeist¨a.

1.2 Regressiomallit ja niiden k¨aytt¨o¨a koskevat rajoitukset

Tarkastellaan aikasarjojen y_t ja X_t = (x_1t ... x_mt)⁰ v¨alist¨a riippuvuutta kos- kevia regressiomalleja

yt =g(Xt, β) +εt , {εt} k {Xt}

εt ∼N ID(0, σ²) , t= 1, ..., n

(1.5)

T¨ass¨a {g(., β)} on jokin riitt¨av¨an s¨a¨ann¨ollinen funktioparvi, jonka teht¨av¨an¨a on siis kuvata yt:n regressiofunktiota Xt:n suhteen, ts.

E(yt|Xt=X) =g(X, β) .

(Huom.: Muuttujan X_t reunajakaumamallia ei v¨altt¨am¨att¨a tarvitse spesifioida lainkaan.)

Tutuin tapaus liittyy ep¨ailem¨att¨a lineaariseen regressiofunktioon g(X, β) = β⁰X, jolloin voidaan johtaa er¨ait¨a hyvin tunnettuja, β:n estimointiin liittyvi¨a optimaa- lisuustuloksia (esim. ns. Gauss-Markovin lause). Numeroidaan nyt lineaariseen regressiomalliin liittyv¨at tavanomaisimmat perusoletukset erikseen, jotta niihin olisi my¨ohemmin mahdollisimman helppo viitata:

yt =β⁰Xt+εt ,

E(εt|Xt)≡0 , t= 1, ..., n

(1.6)

cov((ε1 ... εn)⁰) =σ²I (1.7)

{εt} k {Xt} (1.8)

εt ∼N ID(0, σ²) (1.9)

Oletus (1.8) tekee tietenkin regressiomallien k¨ayt¨on t¨aysin mahdottomaksi ti- lanteissa, joissa selitt¨avien tekij¨oiden Xt ja vastemuuttujan yt v¨alill¨a esiintyy vuorovaikutuksia.

Huomautus 1.3: Kuten tunnettua, voidaan malli (1.6)−(1.9) esitt¨a¨a kaikkien havaintoylsik¨oiden osalta kompaktisti vektorimuodossa

Y =Xβ+ε , ε∼Nn(0, σ²I) (1.10)

jossa

Y = (y1 ... yn)⁰

X= (X1 ... Xn)⁰=



x11 ... x1m

. ... .

x_n1 ... x_nm



 ja

ε= (ε1 ... εn)⁰ .

Ns. OLS- estimaattori (pienimm¨an neli¨osumman estimaattori)

βb= (X⁰X)⁻¹X⁰Y (1.11)

on oletusten (1.6)−(1.8) vallitessa Gauss-Markovin lauseen mukaan β:n ”pa- ras”(MVU) estimaattori. Jos malliin liittyy my¨os oletus (1.9), on β^b samalla my¨os β:n ML- estimaattori Perusmallin (1.6)−(1.9) puitteissa OLS- estimaat- torilla (1.11) on tunnetusti seuraavat ominaisuudet:

βb∼N_m(β, σ²(X⁰X)⁻¹) ,

E=Y −Xβb= (I−P_X)Y = (I−P_X) ε ∼ N_n(0, σ²(I −P_X)) , βb k E

(1.12)

Huomautus 1.4: Palataan viel¨a hetkeksi regressiomallin (1.5) yleisemp¨a¨an muo- toon, jossa regressiofunktio ei v¨altt¨am¨att¨a olekaan lineaarinen. Esimerkkin¨a

ep¨alineaarisesta regressiomallista mainittakoon ns. kahden panoksen CES- tuo- tantofunktiomalli (Constant Elasticity of Substitution)

yt =β1

h

(1−β2)L^−β_t ³+β2K_t^−β3 i^−β_β⁴

3 +εt , εt∼N ID(0, σ²) (1.13)

jossa

yt ↔ tuotannon jalostusarvo kiinteisiin hintoihin periodillat Lt ↔ ty¨opanos (tehdyt ty¨otunnit) po. toimialalla

K_t ↔ p¨a¨aomapanos

εt ↔ virhetermi

Mallia (1.13) ei selv¨astik¨a¨an voida muuttaa lineaariseksi mink¨a¨anlaisten muut- tujatransformaatioiden avulla.

Jos β3→0, saadaan (1.13):n rajatapauksena malli

yt =β1L^γ_t¹K_t^γ2+εt , (1.14)

jossa

γ₁= (1−β₂)β₄ ja γ₂=β₂β₄ .

Mallia (1.14) sanotaan Cobb-Douglas- malliksi. Mik¨ali se muotoiltaisiin virhe- termin osalta multiplikatiiviseen muotoon

yt=β₁^∗L^γ

∗

t1K^γ

∗

t2κt , log κt ∼ N ID(0, σ²) , (1.15)

voitaisiin malli ”linearisoida”logaritmiseen skaalaan siirtym¨all¨a

log y_t=γ^∗_o+γ₁^∗log L_t+γ₂^∗log K_t+ε_t (1.15⁰)

jossa

γ_o^∗= log β₁^∗ ja εt= log κt∼N ID(0, σ²) .

Sen sijaan malleja (1.13) ja (1.14) ei voida linearisoida vastaavilla tempuilla.

Vaikka OLS- estimaattoreille ei ep¨alineaaristen mallien (1.5) osalta voidakaan johtaa mit¨a¨an MVU- optimaalisuusominaisuuksia, on niiden k¨aytt¨o l¨ahes yht¨a luonnollista kuin lineaarisessakin tapauksessa. On helppo todeta, ett¨a virheter- mien normaalisuutta koskevan oletuksen puitteissa regressioparametrien OLS- estimaattorit ovat samalla po. parametrien ML- estimaattoreita. Mallin (1.5)

mukainen, havaintojen y₁, ..., y_n m¨a¨ar¨a¨am¨a likelihood- funktio on nimitt¨ain muo- toa

L_{y1,...,yn|X1,...,Xn}(β, σ²) = Yn t=1

√1

2πσ e^{−2σ12(yt−g(Xt,β))2}

= (2π)⁻ⁿ² · σ²⁻ⁿ₂

·e^{−2σ12Q(β)}

(1.16)

jossa

Q(β) = Xn t=1

(yt−g(Xt, β))² .

Neli¨osumman Q(β) minimointi β:n suhteen johtaa siis likelihood- funktion

(1.16) maksimointiin, joten β:n OLS- estimaattori on samalla my¨os ML- esti- maattori.

1.3 Vuorovaikutussuhteiden kuvaamiseen liittyv¨at ongelmat

Er¨a¨anlaisena johdantona moniyht¨al¨omallien problematiikkaan tarkastellaan tie- tyn (hypoteettisen) hy¨odykkeen kysynn¨an ja tarjonnan samanaikaista mallitta- mista. Merkit¨a¨an q^S_t:ll¨a tarjonnan logaritmia periodilla t, q^D_t :ll¨a kysynn¨an ja

pt:ll¨a hinnan logaritmia periodilla t. Ajatellaan, ett¨a kysynt¨a m¨a¨ar¨aytyy hintojen ja tarjonta hintojen ja mahdollisten muiden tekij¨oiden (mm. tuotantokustannus- ten) Xt perusteella seuraavasti:





q^S_t =γ11pt+β11+β₁₂⁰ Xt

q^D_t =γ₂₁p_t+β₂₁

(1.17)

(Asian yksinkertaistamiseksi tarkastellaan deterministisi¨a malleja, joista kysyn- t¨a¨an ja tarjontaan sis¨altyvien stokastisten komponenttien kuvaus on j¨atetty ko- konaan pois.)

Jos ajatellaan, ett¨a kysynt¨a ja tarjonta olisivat tasapainossa, olisi

q^S_t =q_t^D . (1.18)

Yht¨al¨ot (1.17) ja (1.18) muodostavat er¨a¨anlaisen systeemikuvauksen muttujien

q_t = q^S_t = q^D_t ja p_t vuorovaikutuksista, kun taas X_t- muuttujien ajatellaan m¨a¨ar¨aytyv¨an systeemin ulkopuolella, ts. niit¨a pidet¨a¨an eksogeenisina. (Mik¨ali olisi voimassa hintas¨a¨ann¨ostely, voitaisiin p_t:t¨akin ehk¨a pit¨a¨a eksogeenisena.)

p t

1 2 3 4 5

q t

1 2 3 4

Koska kysynt¨ak¨ayr¨a pysyy paikallaan, se voidaan l¨oyt¨a¨a seuraamalla tasapai- nopisteen liikkeit¨a eri Xt:n arvoilla. Se sijaan tarjontak¨ayr¨an kulmasta kysyn- t¨ak¨ayr¨a¨an n¨ahden ei saada lainkaan informaatiota, koska havaitut tasapainopis- teet aina sijaitsevat kysynt¨ak¨ayr¨all¨a. Jopa deterministisen systeemin yhteydess¨a voi siis synty¨a identifioituvuusongelmia!

V¨alihuomautus 1.5: Jos mallin (1.7) yht¨al¨oihin liitett¨aisiin my¨os stokastiset virhetermit, saattaisi (pt qt)⁰- havaintojen plottauskuvio olla seuraavan n¨ak¨oi- nen:

p t

1 . 9 2 . 0 2 . 1 2 . 2 2 . 3 2 . 4 2 . 5 2 . 6 2 . 7 2 . 8 2 . 9 3 . 0 3 . 1 3 . 2 3 . 3 3 . 4

q t

2 . 0 2 . 1 2 . 2 2 . 3 2 . 4 2 . 5 2 . 6

T¨all¨oin voisi tulla mieleen ajatus ”selitt¨a¨a”toisaalta p_t:t¨a q_t:ll¨a ja toisaalta q_t:t¨a

p_t:ll¨a, jolloin OLS antaisikaksi eri sovitesuoraa. N¨ait¨a ei kuitenkaan miss¨a¨an ni- mess¨a pid¨a ruveta tulkitsemaan kysynt¨a- ja tarjontasuoriksi, sill¨a edell¨a esitetyn mukaisesti havainnot eiv¨at sis¨all¨alainkaan informaatiota tarjontasuoran kulma- kertoimesta. Kyseess¨a on vain OLS- menetelm¨antekninenominaisuus, eik¨akum- mallakaan estimoidulla suoralla itse asiassa ole tulkinnallista merkityst¨a.

Mik¨ali mallia (1.17) muutettaisiin siten, ett¨a tarjonnan ajateltaisiin reagoivan hintojen muutoksiin yhden aikayksik¨on viiveell¨a, p¨a¨adytt¨aisiin malliin











q_t^S=γ11pt−1+β11+β⁰₁₂Xt

q_t^D=γ21pt+β21

qt=q^S_t =q^D_t

(1.19)

T¨am¨an mallin osalta voidaan todeta, ett¨a vaikka (pt qt)⁰- pisteet edelleen- kin sijaitsevat kysynt¨asuoralla t¨aytt¨am¨att¨a aidosti kaksiulotteista tasoa, eiv¨at

(pt−1 qt)⁰- pisteet en¨a¨a pysyk¨a¨an t¨all¨a suoralla.