Aineiston käsittelystä

Etsin vastauksia tutkimuskysymyksiini keräämästäni aineistosta. Tulosten esittelyksi ei kui-tenkaan kelpaa aineistosta satunnaisesti poimittujen oppilasvastausten esittely ja niihin liitty-vien arviointiongelmien kuvailu; tällä tavoin kokonaiskuva arviointiongelmien laadusta ja niiden ilmenemismuodoista jäisi vajaaksi ja hajanaiseksi. Tästä hajallaan olevasta tietomas-sasta voidaan kuitenkin luoda selkeä, mielekäs ja uutta tietoa tuottava kokonaisuus laadulli-sen aineiston analyysin avulla (Eskola & Suoranta 1998: 137). Analyysilla luodaan siis sel-keyttä aineistoon. Eskolan ja Suorannan mukaan (1998: 137) tämä tapahtuu aineistoa jäsen-tämällä ja tiivisjäsen-tämällä, sen sisältämää informaatiota kuitenkaan kadottamatta.

Laadullisen aineiston analyysin tueksi on kehitetty lukuisia analyysitapoja erityyppisiä tutkimuksia varten. Toisinaan tutkimus on kuitenkin sen luonteinen, ettei aineiston analyysiin löydy valmista menetelmää. Näin on myös oman tutkimukseni laita. Eskola ja Suoranta (1998: 251) ohjeistavatkin tällaisissa tapauksissa kokeilemaan ja soveltamaan analyysimene-telmiä tutkimuksen tarpeita silmällä pitäen. Heidän mukaansa laadulliset tutkimusmenetelmät ovat joka tapauksessa harvoin siirrettävissä sellaisenaan tutkimuksesta toiseen. Heidän mie-lestään ei myöskään ole mielekästä yrittää analysoida aineistoa väkisin tietyn analyysitavan mukaisesti. Analyysitavan on palveltava aineistoa ja tehtävä sille oikeutta, ei päinvastoin.

Aineistoni – oppilasvastaukset, koodausohjeet ja muu arvioinnissa käytettävä materiaali – on tekstiaineistoa. Analysoidessani näissä teksteissä ilmeneviä, arviointiin mahdollisesti vaikuttavia ongelmia teen tulkintoja nimenomaan tekstien sisällöistä ja merkityksistä. Näin ollen erilaisista analyysitavoista aineistoni kannalta lähimmäksi osuu sisällönanalyysi. Tuo-men ja Sarajärven (2009) mukaan sisällönanalyysi on laadullisen tutkimuksen perusanalyysi-menetelmä, joka soveltuu hyvin monentyyppisen tekstiaineiston analysoimiseen. Sisällönana-lyysi on siis tekstianaSisällönana-lyysia, ja sen tavoitteena on luoda sanallinen ja selkeä kuvaus tutkitta-vasta ilmiöstä. Tekstiaineistoa voivat olla esimerkiksi kirjat, haastattelut, kirjeet, päiväkirjat tai – kuten tutkimuksessani – avoimet koevastaukset. Sisällönanalyysilla tekstiaineisto on mahdollista analysoida systemaattisesti ja objektiivisesti, ja tuloksena saadaan tiivis ja ylei-seen muotoon saatettu kuvaus tutkittavasta ilmiöstä. Aineiston käsittely perustuu loogiylei-seen

päättelyyn ja tutkijan tekemiin tulkintoihin. Sisällönanalyysilla aineisto siis jäsennetään ja jär-jestetään uuteen muotoon, jotta mielekkäiden johtopäätösten teko olisi mahdollista. (Tuomi &

Sarajärvi 2009: 91, 103–104, 108.)

Aineistoni analyysi eteni aineistolähtöisen sisällönanalyysin periaatteita (Ryan & Ber-nard 2000: 780–785; Tuomi & Sarajärvi 2009: 108–113) mukaillen. Analyysin ensimmäises-sä vaiheessa aineistoon perehdytään huolellisesti. Tätä alustavaa analyysia ja aineiston lähilu-kua tein osaksi jo aineistoa valitessani: esimerkiksi oppilasvastausten kirjaamisen yhteydessä merkitsin ongelmallisilta vaikuttavien vastausten yhteyteen alustavia tulkintojani ongelmien syistä. Aineiston kerättyäni luin sen vielä kertaalleen läpi hyvin huolellisesti ja paneutuen.

Seuraavana sisällönanalyysin vaiheena on aineiston pelkistäminen, jossa tutkimuksen kan-nalta epäolennainen tieto karsitaan pois. Tätä vaihetta ohjaavat tutkimuskysymykset. Ne ker-tovat, mikä on tutkimuksessa olennaista eli mihin asioihin aineistossa kiinnitetään huomiota.

Esimerkiksi litteroidusta haastatteluaineistosta etsitään asioita ja teemoja – sanoja, lauseita tai ajatuskokonaisuuksia – jotka vastaavat tutkimuskysymyksiin. Tämän jälkeen kukin näistä löydetyistä tekstikohdista pelkistetään eli redusoidaan tiiviimmäksi sisältöä kuvaavaksi ilma-ukseksi alkuperäisilmauksen yhteyteen. Ryan ja Bernard (2000: 781) kutsuvat tätä vaihetta aineiston koodaamiseksi ja toteavat, että koodaaminen itsessään on jo analyysia. Aineiston pelkistämisen jälkeen aineistoa pyritään klusteroimaan eli ryhmittelemään edelleen. Tällöin selvitetään, mitkä asiat yhdistävät tai erottavat pelkistettyjä ilmauksia; syntyykö niistä abstra-hoimalla laajempia kategorioita. Klusteroinnissa samaa asiaa tarkoittavat käsitteet siis yhdis-tetään luokaksi, ja kukin luokka nimetään sen sisältöä kuvaavalla käsitteellä. Luokituksia yh-distellään edelleen aina niin pitkään kuin se aineiston näkökulmasta on mahdollista. (Tuomi

& Sarajärvi 2009: 110–111.)

Aineistoni erityislaatuisuuden vuoksi sen pelkistämistä ja klusterointia ei ollut mahdol-lista toteuttaa puhtaasti edellä kuvatulla tavalla. Tyypillisesti sisällönanalyysissa luokiteltavat asiat irrotetaan usein kontekstistaan (Eskola & Suoranta 1998: 139). Aineistoni ei kuitenkaan koostu yhdestä tekstimassasta – kuten litteroiduista haastatteluista – josta vastaukset tutki-muskysymyksiin on mahdollista poimia lähiluvun avulla. Sen sijaan aineistoni koostuu useis-ta erityyppisistä teksteistä, jotka kaikki ovat yhteydessä toisiinsa. Vasuseis-tauksia tutkimuskysy-myksiin ei siis ollut mahdollista löytää esimerkiksi pelkkiä oppilasvastauksia analysoimalla, sillä niitä ei voi tarkastella irrallaan kontekstista. Kutakin vastausta tuli lukea yhdessä koo-dausohjeiden, tehtävänannon ja siihen liittyvän tekstin sekä vastaukselle annettujen pisteiden kanssa. Oppilasvastaus itsessään ei siis välttämättä ollut lainkaan ongelmallinen, vaan

arvi-oinnin kannalta ongelmalliseksi saattoi osoittautua esimerkiksi epäselvä koodausohje, joka ei tarjonnut tukea vastauksen pisteytykseen.

Aineistoa pelkistäessäni asetuin koodaajan rooliin: lukiessani oppilasvastauksia pis-teytin kunkin vastauksen koodausohjeiden ja muun käytössäni olevan materiaalin perusteella.

Samalla kiinnitin huomiota vastausten nelinkertaisessa koodauksessa saamiin pisteisiin. Jos vastauksen pisteyttäminen tuntui vaikealta, nelinkertaisen koodauksen pisteissä oli hajontaa tai toisten koodaajien antamat yhdenmukaiset pisteet poikkesivat omistani, otin oppilasvasta-uksen lähempään tarkasteluun. Loogiseen päättelyyn ja tulkintaan nojautuen pyrin selvittä-mään, mistä arviointiongelmat tällaisten oppilasvastausten kohdalla johtuivat. Näin ollen ai-neistoa pelkistäessäni kysyin aineistolta tutkimustehtäväni mukaisia kysymyksiä. Vastaukset kysymyksiin kirjasin kunkin ongelmalliselta vaikuttavan oppilasvastauksen yhteyteen.

Pelkistämisen jälkeen vuorossa oli aineiston klusterointi eli ryhmittely luokiksi. Luokit-telun myötä aineisto tiivistyy, kun yksittäiset tapaukset sisällytetään yleisempiin luokkiin.

(Tuomi & Sarajärvi 2009: 110). Omassa analyysissani luokitteluyksikkönä toimi kuvaus arvi-ointiongelman laadusta. Ryhmittelin aluksi samankaltaisia ongelmia sisältävät oppilasvasta-ukset alaluokiksi, ja myöhemmin yhdistelin esimerkiksi kirjoittamisen ongelmiin tai koo-dausohje-ongelmiin liittyvät alaluokat omiksi yläluokikseen. Luokitukset on esitetty tarkem-min analyysiluvun yhteydessä.

Oikeaoppisessa sisällönanalyysissa aineistoa kuvaavien luokkien tulisi olla toisensa poissulkevia ja yksiselitteisiä (Ryan & Bernard 2000: 780). Työni kannalta tällainen tiukkara-jainen luokittelu ei kuitenkaan olisi ollut mielekästä eikä aineistoa palvelevaa. Arvioinnin on-gelmien syyt ovat harvoin yksiselitteisiä; ne päinvastoin syntyvät usein monien tekijöiden yh-teisvaikutuksesta. Selvärajaisten luokkien muodostaminen olisikin ollut suorastaan mahdoton tehtävä. Luokitteluongelmat ratkaisin ryhmittelemällä vastaukset sen mukaan, mikä minusta vaikutti olevan ensisijaisin syy arviointiongelman taustalla. Sijoitin siis kunkin vastauksen siihen luokkaan, jonka ominaisuuksia vastaus eniten muistutti. Ne tapaukset, joiden kohdalla ensisijaisimmankin syyn määritteleminen oli mahdotonta, sisällytin useampaan luokkaan.

Toinen vaihtoehto olisi ollut jättää tällaiset vastaukset kokonaan aineiston ulkopuolelle, mutta mielestäni se olisi heikentänyt tutkimuksen luotettavuutta ja todenmukaisuutta. Arviointion-gelmien moninaisuus on kuitenkin todellisuutta. Aineistoa analysoidessani vastaan tuli myös jonkin verran yksittäisiä, epätyypillisiä ongelmavastauksia. Sijoitin myös tällaiset vastaukset omiin luokkiinsa, mutta niiden painoarvo on tutkimukseni kannalta vähäinen. Täten esittelen analyysiluvussa ainoastaan tyypillisimmät ongelmaluokat. Jokaista yksittäistapausta ei ole

mahdollista eikä mielekästä nostaa esiin; poikkeuksia tulee esiintymään aina, eikä niiden pe-rusteella ole mahdollista tehdä päätelmiä kokeen validiteetista.

Seuraavassa luvussa esittelen oppilasvastausten luokittelun tehtäväkohtaisesti omissa alaluvuissaan. Kussakin alaluvussa esittelen aluksi tekstin, siihen liittyvän tehtävän ja koo-dausohjeen. Tämän jälkeen vuorossa ovat varsinaiset, erityyppisiä arviointiongelmia kuvaavat luokat mahdollisine alaluokkineen. Kunkin luokan yhteydessä kuvaan, millaisia arviointion-gelmia se sisältää, ja tarjoan näistä muutamia osuvia esimerkkejä. Esimerkkivastausten yhtey-dessä esitän myös tulkintani syistä, joiden perusteella olen sijoittanut vastauksen kyseiseen luokkaan. Pelkkien luokkien muodostaminen ja niiden kuvaaminen on kuitenkin vain osa ana-lyysia. Sisällönanalyysin tarkoituksena on luoda hajanaiseen aineistoon riittävää selkeyttä, jotta tulkintojen ja johtopäätösten tekeminen olisi mahdollista (Tuomi & Sarajärvi 2009: 108).

Tulosten erittely sekä tulkintojen ja päätelmien tekeminen aineistosta on siis työn varsinainen päämäärä. Päätäntöluvussa tarkoituksenani onkin verrata empiirisen aineiston analyysin tuot-tamia tuloksia työni teoriaosuuteen ja pyrkiä ymmärtämään, mitä saamani tulokset merkitse-vät.