• Ei tuloksia

Aineiston analyysimenetelmät

In document Karvi.fi (sivua 33-38)

1.3 Arvioinnin toteutus

1.3.6 Aineiston analyysimenetelmät

Taulukkoon 4 koottuja muuttujia käytettiin selittämään oppilaiden oppimistu- loksia. Perusraportissa selostetaan keskeisimmät tulokset, laajan kyselyaineis- ton antia avataan myöhemmin syventävissä tutkimusjulkaisuissa. Perusraportis- sa käsitellään opettajilta ja rehtoreilta hankittua tietoa niiltä osin kuin se liittyy suoraan oppilaiden oppimistuloksiin.

vua ja sillä olevaa tehtävää lähestyttiin ajatellen seuraavaksi ylempää taitotasoa ja sen tasoisen oppilaan mahdollisuuksia ratkaista osio 2/3 todennäköisyydellä oikein. Näin edettiin koko vihko läpi. Lopuksi panelistien merkitsemät katkaisu- kohdat (sivunumerot) koottiin yhteen taulukoksi ja tuloksista keskusteltiin. Mi- käli panelistit halusivat keskustelun jälkeen muuttaa merkitsemiään katkaisu- kohtia, se oli vielä mahdollista.

Panelistien merkitsemistä sivumääristä laskettiin tämän jälkeen mediaani (suu- ruusjärjestykseen asetetun havaintoaineiston keskimmäinen arvo). Keskiarvoa ei katkaisukohtien määrittelyssä käytetty, sillä Bookmark-menetelmän luontee- seen kuuluu, että panelistien välillä voi olla huomattaviakin eroja katkaisukoh- tien määrittelyssä, ja mediaanin avulla ääripäiden vaikutusta saatiin minimoi- tua. Näin saatiin määriteltyä kunkin taitotason vaativin osio. Katkaisukohtien määrittelyn jälkeen laskettiin, kuinka monta pistettä osallistujan oli mahdollista saada kyseisellä sivulla ja sitä ennen olevista osioista. Tämä pistemäärä oli ky- seiseen taitotasoon oikeuttava pistemäärä. Mikäli taitotasolle sijoittuvia osioita oli vähemmän kuin kolme, yhdistettiin kyseinen taitotaso seuraavaan.

Bookmarkin käyttöä oli mahdollista harjoitella englannin kielen paneelissa 6.–

7.11.2012 jo esikokeiluaineiston pohjalta. Bookmark-menetelmän harjoittelun lisäksi tällöin varmistettiin lopulliseen tehtävävihkoon tulevien tehtävien ja osi- oiden alustava taitotaso. Toisella kokoontumiskerralla 16.–17.6.2013 taitotaso- rajojen määrittämiseen oli käytettävissä jo englannin varsinainen arviointidata.

Tehtäväosioiden taitotasoille asettamisen jälkeen voitiin luetun ja kuullun ym- märtämisessä määritellä yksittäisten oppilaiden taitotasot. Tätä varten kuullun ja luetun ymmärtämisen osiot järjestettiin rinnakkain osioanalyysin osoittaman vaikeustason mukaisesti ja tätä tietoa verrattiin vielä kunkin osion ratkaisu- osuuteen. Näiden tietojen ja harkinnan avulla määriteltiin lopulliset rajat eri taitotasojen välille. Rajojen määrittelyn jälkeen ratkaisuosuudet laskettiin taito- tasoittain, yksi taso kerrallaan. Jotta oppilas pääsi tietylle taitotasolle, hänen tuli saavuttaa vähintään 50 prosenttia kyseisen tason kokonaispistemäärästä.

Käytänteitä ja käsityksiä kuvaavat mittarit

Arviointiaineiston analysoinnissa sovellettiin useita tilastollisia menetelmiä.

Tehtävien esikokeilussa, jossa selvitettiin muun muassa tehtävien vaikeustasoa ja erottelukykyä, sovellettiin osioanalyysia (mm. Törmäkangas & Törmäkan- gas 2009), tarkasteltiin yksittäisten tehtävien ratkaisuosuuksia sekä yksittäisten osioiden korrelaatioita kielen eri osataitojen summaan (item-total correlation).

Tulosten kuvailussa käytettiin frekvenssi- ja prosenttijakaumia sekä tavallisim- pia keski- ja hajontalukuja. Kahden ryhmän väliset keskimääräiset erot ana- lysoitiin klassisen t-testin avulla ja useamman ryhmän väliset erot varianssi- analyysin avulla. Niissä tapauksissa, joissa niin kutsuttujen standardianalyysien oletukset eivät olleet voimassa, käytettiin ei-parametrisia menetelmiä (esim.

Mann-Whitneyn testi).

Aineiston koon vuoksi monet pienetkin erot olivat tilastollisesti merkitseviä, joten tällaisten erojen kohdalla raportoidaan myös t-testin yhteydessä efekti- kokoa kuvaava Cohenin d-arvo (Cohen 1988, 10). Tilastollisten testien yhtey- dessä raportoitu merkitsevyystaso (p-arvo) kuvaa klassisen tulkinnan mukaan sitä, onko havaittu ero ja/tai asiayhteys sattumasta (otantavirheestä) aiheutuvaa.

Merkitsevyystasoa käytetään myös kuvaamaan sitä, miten hyvin tietty tilastol- linen malli (tässä raportissa esim. regressio- ja varianssianalyysimallit) kuvaa aineistoa (mm. Nummenmaa, Konttinen, Kuusinen & Leskinen 1997, 42–43).

Efektikoko havainnollistaa erojen käytännön merkittävyyttä ottamalla huomi- oon esimerkiksi sen, että tutkittavat ryhmät voivat olla erikokoisia ja tutkittavan muuttujan vaihtelu ryhmissä voi olla hyvinkin erisuuruista. Tässä raportissa tilastollisesti merkitseviä eroja kielennetään seuraavien arvojen perusteella:

Cohenin d Erittäin pieni

Pieni Kohtalainen Suuri

alle 0,2 0,2–alle 0,5 0,5–alle 0,8 0,8 tai yli

On myös syytä huomata, että A-englannin tuloksissa raportoidaan ainoastaan tilastollisesti erittäin merkitsevät erot (p < 0,001), vaikka merkitsevyystasoa ei joka yhteydessä ole erikseen mainittu.

Luokiteltujen muuttujien keskinäisiä asiayhteyksiä (riippuvuuksia) tarkasteltiin ristiintaulukoinneilla ja khiin neliötestillä. Tilastollisesti merkitsevät riippuvuu- det kuvailtiin esittämällä asianmukaiset erot prosenttijakaumissa ja suorittamal- la residuaalitarkastelut, jotka ilmentävät havaintojen teoreettisten ja havaittujen lukumäärien välisiä poikkeamia.

Määrällisten muuttujien riippuvuuden mittarina käytettiin Pearsonin korrelaa- tiokerrointa. Aineiston koon vuoksi pienetkin korrelaatiot olivat usein tilastolli- sesti merkitseviä, joten testien yhteydessä on raportoitu muuttujien keskinäinen selitysosuus, joka on yksi efektin koon mittari. Myös lineaarista ja logistista

regressioanalyysia käytettiin asiayhteyksien mallintamisessa. Korrelaatioiden kuvailuissa käytettiin seuraavia raja-arvoja (Cohen & Manion 1995):

Arvo Sanallinen kuvaus

0,20–alle 0,35 heikko 0,35–alle 0,65 kohtalainen

0,65–0,85 korkea

yli 0,85 erittäin korkea

Sekä oppilas- että opettajakysely sisälsivät laajoja kysymyssarjoja, joiden in- formaatiota tiivistettiin faktorianalyysin avulla. Näin muodostettiin esimerkiksi käytänteiden ja käsitysten ulottuvuuksia kuvaavat keskiarvomuuttujat. Muo- dostettujen keskiarvomuuttujien sisäistä yhdenmukaisuutta tarkasteltiin Cron- bachin alfa-kertoimen sekä keskiarvomuuttujien osioiden keskinäisten korre- laation avulla. Keskiarvomuuttujia käytettiin muun muassa silloin, kun tutkittiin käsitysten ja opiskelustrategioiden (oppimista edistävien käytänteiden) yhteyttä oppimistuloksiin.

Vieraiden kielten arvioinnissa, kuten oppimistulosten arviointiaineistoissa yleen- säkin, tutkimuksen perusjoukossa on vähintään kaksi tasoa: koulutaso ja oppi- lastaso. Otokseen kuuluu kymmeniä kouluja (jopa yli sata) kouluja ja tuhansia oppilaita. Oppilaat ovat voineet olla pitkäänkin samassa koulussa, samalla luo- kalla ja samojen opettajien ohjauksessa. Tämä aiheuttaa sen, että oppilaiden suoritukset eivät ole toisistaan riippumattomia. Riippuvuus tuottaa aineistoon il- miön, jota kutsutaan sisäkorrelaatioksi. Jos perusjoukon rakennetta ei huomioi- da oikein, saattavat johtopäätökset tilastollisista merkitsevyyksistä olla harhaisia.

Tässä raportissa aineiston hierarkkinen rakenne huomioitiin esimerkiksi analy- soitaessa suomen- ja ruotsinkielisten koulujen välisiä eroja oppimistuloksissa.

Nämä analyysit suoritettiin aineiston rakenteen huomioivan monitasomallin- nuksen avulla (ks. Malin 2005; Rasbash, Steele, Browne & Goldstein 2004;

Rautopuro 2013). Monitasomallinnusta sovellettiin myös koulujen välisten ero- jen tarkastelussa (sisäkorrelaatio) ja arvioitaessa vanhempien koulutustaustan vaikutusta koulujen välisiin eroihin.

Arvioinnissa saavutetut tulokset suhteutetaan opetussuunnitelman perusteissa ilmaistuihin kielitaitotavoitteisiin taitotasoittain seuraavin ilmaisuin:

Tavoitteet ovat toteutuneet… …kun enemmistö (> 50 %) oppilaista heikosti alittaa hyvän osaamisen taitotason kahdella taitotasolla tyydyttävästi alittaa hyvän osaamisen taitotason yhdellä taitotasolla

hyvin yltää vähintään hyvän osaamisen (8) taitotasolle

erinomaisesti ylittää hyvän osaamisen taitotason vähintään yhdellä taitotasolla Käytännetavoitteet suhteutetaan opetussuunnitelman perusteisiin seuraavin ilmaisuin:

Tavoitteet ovat toteutuneet… …käytänteiden osalta, kun keskiarvomuuttuja (1–5-asteikolla) saa arvon

heikosti 1–2,49

tyydyttävästi 2,50–3,49

hyvin 3,50–4,49

erinomaisesti 4,50–5,00

Käsityksiä kuvataan seuraavin ilmaisuin:

Käsitykset ovat … …kun keskiarvomuuttuja (1–5-asteikolla) saa arvon

erittäin kielteiset 1–1,49

kielteiset 1,50–2,49

neutraalit/epävarmat 2,50–3,49

myönteiset 3,50–4,49

erittäin myönteiset 4,50–5,00

Opettajille ja rehtoreille suunnatut kyselyt sisälsivät avoimia kysymyksiä, joiden vastaukset tallennettiin tekstitiedostoiksi. Tekstimassa tematisoitiin ja teemojen esiintymisestä tehtiin yksinkertaisia frekvenssitaulukoita. Perusraportissa keski- tytään erityisesti A-englantia koskevaan palautteeseen ja rehtorien raportoimiin tapoihin hyödyntää arviointipalautetta. Opettajakyselyn tarjoamaa mahdolli- suutta kuvata oman opetusaineen tukitarpeita ja välittää toiveita opetussuunni- telman perusteita laativille ryhmille raportoidaan suositusluvussa.

2 ENGLANNIN KIELEN A-OPPIMÄÄRÄN OPPIMISTULOKSET

Seuraavaksi raportoidaan englannin kielen A-oppimäärän oppimistulokset.

Oppimistuloksilla tarkoitetaan paitsi (1) kielitaidon eri osa-alueiden tehtävissä saatuja tuloksia myös (2) englannin kielen oppimista edistävien käytänteiden harjoittamista ja (3) oppilaiden käsityksiä englannin kielestä ja sen opiskelusta.

Kunkin tavoitealueen tulokset esitellään omissa alaluvuissaan. Lisäksi tarkas- tellaan näiden kolmen tavoitealueen keskinäisiä yhteyksiä. Aluksi kuvaillaan arviointiin osallistuneet henkilöt ja arvioinnissa käytetyt tehtävät.

In document Karvi.fi (sivua 33-38)