Osaamismittarit ja niiden luotettavuus

Koska arviointi oli yhteinen sekä ammatilliselle että lukiokoulutukselle ja sekä pitkän että lyhyen matematiikan opiskelijoille, nähtiin mielekkääksi ankkuroida mittarin laadinta 9. luokan yhteisiin matematiikan opintoihin. Mittariversioita rakennettiin kaksi: toinen lukio-opiskelijoille ja toinen ammatillisen koulutuksen opiskelijoille. Kaikkiaan 18 tehtävästä 14 (78 %) oli identtisiä opiskeli-joiden jo aiemmin tekemän 9. luokan kokeen kanssa. Näin ollen suurin osa testien tehtävistä oli sellaisenaan 9. luokan opetussuunnitelman perusteiden mukaisia (OPH, 2004) ja pienempi osa lukion 3. luokan lyhyen ja pitkän matematiikan sekä tutkintojen perusteiden mukaisia. Lukioko-keeseen valittiin yhteisten tehtävien lisäksi kaksi lyhyen ja kaksi pitkän matematiikan tehtävää vanhoista ylioppilastehtävistä. Tehtävistä vain kaksi pitkän matematiikan sisältöjä yhdistelevää tehtävää oli sellaisia, että niitä ei olisi voitu ratkaista perusopetuksen 9. luokan tiedoilla (tauluk-ko 2.2). Ammatillisen (tauluk-koulutuksen (tauluk-kokeeseen valittiin kaksi tehtävää aiemmasta ammatillisen koulutuksen matematiikan kokeesta vuodelta 1998 ja lisäksi yksi käytännön ongelmatilanteeseen liittyvä lyhyen matematiikan tehtävä. Jokeritehtäväksi valittiin erittäin vaikea pitkän matematii-kan tehtävä, joka oli myös lukiokokeessa. Esimerkkitehtäviä on kuvattu tarkemmin seuraavassa luvussa. Molemmista mittariversioista tehtiin sekä suomen- että ruotsinkielinen versio.

Toisin kuin aiemmissa raporteissa (Metsämuuronen, 2010b; 2013b), joissa matematiikan osa-alueet jaoteltiin seuranta-arvioinnin luonteen vuoksi 3. luokan osa-alueiden mukaisesti kolmeen ryhmään Lukuihin, laskutoimituksiin ja algebraan, Geometriaan sekä Tietojenkäsittelyyn, tilas-toihin ja todennäköisyyteen, tässä raportissa osa-alueet luokitellaan 9. luokan mukaisesti. Näin tutkittavia osa-alueita on kokonaissumman lisäksi viisi: Algebra, Funktiot, Geometria, Luvut ja laskutoimitukset sekä Tilastot ja todennäköisyys. Osa-alueista Algebran, Funktioiden, Geometrian kokonaispistemäärät (8, 31 ja 14 pistettä) olivat riittäviä uskottavien johtopäätösten tekemiseksi, mutta Luvut ja laskutoimitukset ja Tilastot ja todennäköisyys -osa-alueilla pistemäärä (2–5 pistettä) ei mahdollista opiskelijoita erottelevaa summaa. Tämä näkyy siten, että summien reliabiliteetit olivat näillä osa-alueilla matalia (taulukko 2.2). Käytetyt mittarit ovat kokonaisuutena riittävän luotettavia uskottavien johtopäätösten tekemiseen (α_Lukio = 0,87 ja α_Amm = 0,84). Samoin osamit-tareista voidaan arvioida kohtuullisen luotettavasti Funktioita (α_Lukio = 0,82 ja α_Amm = 0,66) ja Geometriaa (α_Lukio = 0,73 ja α_Amm = 0,65). Algebran osa-alueen reliabiliteetti on kohtuullinen, kun aineistoja käsitellään yhdessä (α_Lukio+Amm = 0,71). Erillisissä aineistoissa summien erottelukyky jää alle perinteisen hyväksyttävän alarajan (α_Lukio = 0,55 ja α_Amm = 0,49). Luvut ja laskutoimitukset- ja Tilastot ja todennäköisyys -osa-alueilla reliabiliteetit jäävät pienen pistemäärän vuoksi mataliksi (α_Lukio = 0,27–0,34 ja α_Amm = 0,26–0,56). On hyvä pitää mielessä, että summien erottelukyvyt ovat tarkimmillaan niillä osa-alueilla, joissa osioiden määrä oli kohtuullisen suuri.

TAULUKKO 2.2. Testin osa-alueet 9. luokan näkökulmasta

9. luokan testin osa-alueet Lukiotesti Ammatillisen koulutuksen testi

osioiden määrä pistemäärä reliabiliteetti (α) osioiden määrä pistemäärä reliabiliteetti (α)

Koko koe 28 52 0,87 30 46 0,84

Algebra 6 8 0,55³ 6 8 0,49³

Funktiot¹ 11 31 0,82 12 22 0,66

Geometria¹ 7 14 0,73 7 14 0,65

Luvut, laskutoimitukset 3 3 0,27 3 3 0,26

Tilastot ja todennäköisyys 2 2 0,34 5 5 0,56

9. luokalle kuulumaton aines² 2 12 1 6

1) Kolme Geometrian tehtävää luokittui myös Funktiot-osa-alueelle. Vastaavasti tietenkin kolme Funktiot-osa-alueen tehtävää luokittui Geometrian alueen tehtäviksi.

2) Nämä kaksi vaativaa ylioppilastehtävää luokittuivat Funktiot-osa-alueelle, johon ne on laskettu mukaan.

3) Kokonaisaineistossa Algebran osa-alueen reliabiliteetti on α = 0.71

Mittareiden validiteetin näkökulmasta on oleellista huomata, että lukiotestissä osaamista arvioitiin vain osalta lukiokursseilla opettavia alueita (taulukko 2.3). Valtaosa tehtävistä sijoittuu ensimmäisten kurssien (MAA1 ja MAA2 sekä MAB1 ja MAB2) ainekseen; 74–81 % kokonaispistemäärästä tulee näiltä alueilta. Uudessa nuorten lukiokoulutuksen opetussuunnitelman perusteissa (OPH, 2015) suuri osa sisällöistä sijoittuu yhteiseksi sekä lyhyelle että pitkälle matematiikalle (MAY1). Toinen huomion arvoinen seikka on, että yhtä tehtävää lukuun ottamatta yksittäiset tehtävät voidaan sijoittaa yhden kurssin sisällön alle. Tästä periaatteesta poiketen viimeisen, lukion pitkän mate-matiikan tietoja ja taitoja edellyttävän tehtävän ratkaiseminen vaati tietoja derivaatasta (MAA7), integraalilaskennasta (MAA10) sekä differentiaali- ja integraalilaskennan jatkokurssin sisällöistä (MAA13) ja sieltäkin erityistietämystä. Tehtävä oli tarkoituksellisesti valittu niin vaikeaksi, että vain ehdottomasti parhaat opiskelijat voisivat osoittaa siinä osaamistaan. Vain kaksi opiskelijaa kaikista testiin osallistuneista sai tehtävän ratkaistua täysin oikein.

TAULUKKO 2.3. Kokeen osa-alueet lukion matematiikan näkökulmasta

Pitkän matematiikan kurssit osioiden

määrä

piste-määrä Lyhyen matematiikan kurssit osioiden määrä

piste-määrä

MAA1 Funktiot ja yhtälöt 12 14 MAB1 Lausekkeet ja yhtälöt 14 36

MAA2 Polynomifunktiot 6 26 MAB2 Geometria 4 8

MAA3 Geometria 4 8 MAB3 Matemaattisia malleja I 1 6

MAA4 Analyyttinen geometria MAB4 Matemaattinen analyysi

MAA5 Vektorit MAB5 Tilastot ja todennäköisyys 2 2

MAA6 Todennäköisyys ja tilastot 2 2 MAB6 Matemaattisia malleja II

MAA7 Derivaatta¹ 1 2

MAA8 Juuri- ja logaritmifunktiot

MAA9 Trigonometriset funktiot ja lukujonot

MAA10 Integraalilaskenta¹ 1 2

Syventävät kurssit: Syventävät kurssit:

MAA11 Lukuteoria ja logiikka MAB7 Talousmatematiikka

MAA12 Numeerisia ja algebrallisia menetelmiä MAB8 Matemaattisia malleja III MAA13 Differentiaali- ja integraalilaskennan

jatkokurssi¹ 1 2 Lyhyeen matematiikkaan

kuulumaton aines 1 6

1 yksi 6 pisteen tehtävistä edellytti osaamista kolmelta osa-alueelta. Tässä 6 pistettä on jaettu näiden kolmen osa-alueen kes-ken.

Ammatillisen koulutuksen kolmea opintopistettä vastaavissa matematiikan opinnoissa keskitytään ensisijaisesti ammatissa sovellettavaan matematiikkaan. Ammattitaitoa täydentävissä tutkinnon osissa (yhteiset opinnot) arviointi perustuu kolmiportaiseen luokitteluun: tyydyttävä (T), hyvä (H) ja kiitettävä (K). Kolme kokenutta ammatillisen koulutuksen matematiikan opettajaa luokitteli kokeen tehtävät sen mukaisesti, minkä tasoista osaamista kunkin tehtävän ratkaiseminen edellytti.

Konsensusarvion perusteella puolet tehtävistä (50 %) heijasteli

hyvän

osaamisen vaatimustasoa ja neljäsosa

tyydyttävää

ja

kiitettävää

(taulukko 2.5). Pistemäärissä mitattuna testi kuitenkin kallistui vaikeampiin tehtäviin: vaikeammista tehtävistä sai enemmän pisteitä kuin helpoista tehtävistä.

TAULUKKO 2.4. Kokeen osa-alueet ammatillisen koulutuksen matematiikan näkökulmasta Osaamisen tason

Tyydyttävä (T) 7 7 MAB1 Lausekkeet ja yhtälöt 14 36

Hyvä (H) 15 17 MAB2 Geometria 4 8

Kiitettävä (K) 8 16 MAA2 Polynomifunktiot 6 26

MAA3 Geometria 4 8

Ammatilliseen matematiikkaan

kuulumaton aines 1 6

On hyvä huomata seuraavat seikat yksittäisistä osioista ja testeistä. Ensiksi, kun tässä arvioinnissa arvioidaan opiskelijoiden osaamisen tasoa toisen asteen koulutuksen loppuvaiheessa, päätelmät perustuvat ensisijaisesti 9. luokan oppisisältöihin ja

ensimmäisillä

kursseilla opetettuihin asioihin.

Nämä asiat saavat vahvistusta pitkän matematiikan kursseilla; käytännössä jokainen pidemmälle menevä kurssi perustuu lukujen, lukujonojen ja peruslaskutoimitusten hyödyntämiseen.

Toiseksi, ensimmäisten kurssien sisällöt opetetaan yleensä opintojen alussa ja näin ollen ammatil-lisessa koulutuksessa ja lukion lyhyen matematiikan kursseilla matemaattisten perusasioidenkin unohtaminen on odotettavampaa kuin pitkän matematiikan opinnoissa, sillä osaamista vahvis-tetaan selvästi vähemmän kuin lukion pitkän matematiikan opinnoissa.

Kolmanneksi, alaluokkien aineistojen vertaistamisessa 9. luokan kokonaisosaamiseen laskettiin mukaan myös funktiolaskut (ks. tarkemmin Metsämuuronen, 2013a). Ymmärrettävästi niitä ei kuitenkaan voitu ottaa mukaan alaluokkien pitkittäisvertailuun, sillä näitä ei opeteta vielä alem-milla luokilla. Tässä mittauksessa funktiolaskuilla on oleellinen rooli. Aiempaa 9. luokan otosta ja kaikkia 9. luokan kokeen tehtäviä käytetään hyödyksi toisen asteen kokeeseen valittujen uusien osioiden vaikeustason määrittelyssä. Tähän paneudutaan tarkemmin luvussa 2.3.

Neljänneksi, tehtäviä valikoitaessa ”liian helpot” tehtävät jätettiin toisen asteen kokeista pois. Tästä seurasi se, että kaikki tehtävät ovat kyllä erottelukyvyltään hyviä, mutta erityisesti ammatillisen koulutuksen koe oli kokeneiden opettajien mielestä liian vaativa heikoimmille opiskelijoille. Mu-kana on kuitenkin yksi tehtävä, joka on ollut muMu-kana kaikilla mittauskerroilla perusopetuksen 3. luokalta lähtien ja useampia 6. luokalla mukana ollutta tehtävää.

Viidenneksi, ammatillisen kokeen viimeisenä jokeritehtävänä oli erittäin vaikea lukion pitkän matematiikan tehtävä, jossa menestyminen ei kuulunut lyhyen matematiikan eikä ammatillisen koulutuksen sisältöihin. Tehtävä jouduttiin lisäämään teknisistä syistä ammatilliseen kokeeseen;

ilman tätä vaikeaa tehtävää ammatillisen koulutuksen opiskelijat olisivat olleet pakotettuja saa-maan – teknisistä syistä johtuen – selvästi heikomman tuloksen kuin lukion opiskelijat. Asiaan syvennytään tarkemmin luvussa 2.3 ja liitteessä 1, joissa kuvataan mittareiden vertaistamista.

Tehtävää ei huomioitu, kun opiskelijoita luokiteltiin asteikolle ”Tyydyttävä”, ”Hyvä” ja ”Kiitettävä”.

In document Oppia ikä kaikki – Matemaattinen osaaminen toisen asteen koulutuksen lopussa 2015 (sivua 30-33)