Ei-parametrinen regressio Harjoitus 4
15.4.2008
1. Osoita, ett¨a regressiomallissa, kun k¨aytet¨a¨an pienimm¨an neli¨osumman menetelm¨a¨a
XV ar( ˆβj)> σ2ρ−1min, miss¨a ρmin on matriisinX0Xpienin ominaisarvo.
2. Osoita, ett¨a minimoitavan funktion
P LS(β) = (y−Xβ)0(y−Xβ) +λβ0β, miss¨a λ >0, ratkaisuna saadaan ns. harja-estimaattori
βˆ = (X0X+λI)−1X0y.
3. Jos harja-estimaattorin tapauksessa m¨a¨aritell¨a¨an ˆ
y=Hy, miss¨a H=X(X0X+λI)−1X0,niin osoita, ett¨a
df=tr(H) =X ρj
ρj+λ,
miss¨a ρj on matriisinX0X j. ominaisarvo. Kokeile ennustamista (piirr¨a kuvio) eri vapausasteidendf arvoilla valitsemassasi aineistossa.
4. Estimoi aineistoonfaithfulpaloittain lineaarinen malli siten, ett¨a kertoimia on tasoitettu sekamallin avulla. Vertaa graafisesti saatua sovitetta tasoit- tamattomaan.
5. Tarkastellaan minimoitavaa lauseketta
P LS= (y−g)0(y−g) +λg0QQ0g, Osoita, ett¨a ratkaisu voidaan kirjoittaa muodossa
ˆ
g=Xβˆ+ ˆu= (I+λQQ0)−1y, miss¨a
βˆ = (X0X)−1X0y
1
ja
ˆ
u= (I+λQQ0)−1(y−Xβ),ˆ kun
Q=
1 0 · · · 0 0
−2 1 . .. 0 0 1 −2 1 . .. 0 0 . .. . .. . .. ...
... . .. 1
−2
0 0 · · · 1
.
2
