Asiantuntijoiden käsitysten luotettavuustarkastelu

Tarkastelen asiantuntijoiden käsityksiä koskevan tutkimusosion luotettavuutta Ahosen (1994, 152) esittämillä fenomenografisen tutkimuksen luotettavuustekijöillä yleisyys, aitous ja relevanssi. Yleisyys tarkoittaa käsitysten korkeampaa tasoa, jossa lukija voi yhdistää omia käsityksiään tutkijan luomaan malliin. Aitous- ja relevanssituntomerkit taas kuvastavat sitä, kuinka hyvin aineisto ja siitä tehdyt johtopäätökset kuvaavat tutkittavaa ilmiötä ja toisaalta pohjautuvat teoriaan. Tutkijan tulee Ahosen (emt.) mukaan myös pohtia aineistonhankinta-prosessin luotettavuutta ja vastaajien taustoihin liittyviä luotettavuustekijöitä huolellisesti raportissaan. (Emt., 152–153.)

Valitsin asiantuntijoiden käsitysten aineistonkeruumenetelmäksi sähköisen kyselyn, sillä ta-voitteena oli saada selville useiden eri asemassa ja toimessa työskentelevien henkilöiden ajatusmalleja. Näin ollen esimerkiksi haastattelutyyppinen tutkimus olisi saattanut tuottaa

jonkin verran syvempää tietoa ja ymmärrystä aiheesta, mutta olisi vienyt erittäin paljon aikaa ja resursseja. Resurssien puutteesta johtuen ei kaikkia nyt sähköisesti tavoitettuja asiantun-tijoita olisi myöskään ollut mahdollista saada henkilökohtaiseen tapaamiseen.

Harkinnan varainen näyte on otantamenetelmä, joka perustuu aina tutkijan tekemiin valin-toihin (Eskola & Suoranta 1998, 18). Siten sen perusjoukon kaikilla alkioilla ei ole saman-arvoista mahdollisuutta päästä mukaan tutkimukseen. Tästä johtuen näytteen käyttämisessä on aina riskejä, kuten että näytteeseen valitut havaintoyksiköt ovat hyvin homogeenisia eli samanlaisia tutkittavan asian suhteen. Tässä aineistossa se tarkoittaa riskiä, että esimerkiksi tietyn koulun opettajilla olisi hyvin samanlaiset käsitykset laskimen käytöstä alakoulussa, mikä voisi johtua esimerkiksi koulun oman opetussuunnitelman sisällöistä.

Aineistonkeruussa ongelma pyrittiin välttämään lähettämällä kysely mahdollisimman satun-naisesti usean Suomen kunnan alueille. Kouluihin sisällytettiin niin suuria yhtenäiskouluja kuin pieniä kyläkoulujakin sekä myös erisuuruisia yliopistoja ja lukioita. E-lomakkeen ky-symyksiin ei sisältynyt taustatietoja vastaajan oppilaitoksesta, joten vastaajien jakaantumista tietylle alueelle tai tietyn suuruisiin kouluihin ei voida kuitenkaan tietää. On siis mahdollista, että kyselyyn vastanneet ovat jakautuneet alueellisesti suppeasti, jolloin vastaukset koskisi-vat vain tämän alueen käsityksiä laskinten käytöstä.

Kvalitatiivisessa tutkimuksessa rajoitutaan usein tarkastelemaan ainoastaan niitä henkilöitä, joilla tiedetään olevan asiasta ennestään tietoa tai tässä tapauksessa jonkinlainen käsitys.

Tässä tutkielmassa siihen pyrittiin rajaamalla kohderyhmä matematiikan opetuksenalan asi-antuntijoihin, mikä ei kuitenkaan taannut kaikkien tietotaustaa. Toisaalta useat käsitystensä suhteen epävarmat näytteen henkilöt ovat saattaneet jo saatekirjeen luettuaan päättää olla vastaamatta kyselyyn juuri tästä syystä. Aineistoon sattui silti vastaaja, jolla ei ollut aiheista riittävää käsitystä, jotta hänen vastaustaan olisi voitu ottaa osaksi varsinaista kuvauskatego-riajärjestelmää.

Aitous suhteessa aineistoon merkitsee Ahosen (1994, 153) mukaan sitä, kuinka hyvin ai-neisto vastaa sekä tutkijan että tutkittavien käsityksiä aiheesta. Toisin sanoen tutkijan tulee selvittää, ovatko tutkittavat todella ymmärtäneet, mitä kysymyksillä haettiin ja toisaalta vas-tanneet rehellisesti kysymyksiin (emt., 153). Tätä luotettavuustekijää pyrin parantamaan li-säämällä kyselyn loppuun kommenttikentän, johon kyselyyn vastanneet saivat kommentoida

lomaketta ja sen kysymyksiä. Tavoitteena oli selvittää, olivatko kaikki kysymykset johdon-mukaisia ja vastasivatko ne tarkoitustaan. Tätä kommentointimahdollisuutta käytettiinkin muutamassa vastauksessa, joista ilmeni joidenkin kysymysten tai käsitteiden epäjohdonmu-kaisuus. Kommentit eivät kuitenkaan liittyneet tässä tutkielmassa käytettyihin lomakkeen kysymyksiin, vaan käsinlaskemiseen.

Tietyt lisäkysymykset olisivat saattaneet lisätä käsitysavaruuden laajuutta ja siten validiteet-tia. Kyselyssä ei esimerkiksi ollut yhtään kysymystä siitä, mitä negatiivisia vaikutuksia las-kinten käytöllä on. Toisaalta useat vastaajat olivat vastanneet tähän oma-aloitteisesti, mikä oli mahdollista riittävän avointen kysymysten avulla. Koska aineistonkeruumuoto oli säh-köinen kysely, josta oli mahdotonta selvittää vastaajien henkilöllisyyttä, on syytä olettaa tut-kittavien vastanneen rehellisesti ja oman mielipiteensä mukaisesti. Näin ollen ”sosiaalisesti hyväksyttävien” vastausten paine ei voida katsoa olleen tutkittaville kovinkaan suuri.

Koska aineisto kerättiin e-lomakkeena, ei tulkintojen vastaavuutta voitu tarkentaa vastaajan omaan, todelliseen näkemykseen asioista. Toisaalta fenomenografisen analyysin tavoitteena on etsiä aineistosta merkitysyksiköitä, ajatuskokonaisuuksia, jotka ovat yksittäisten ilmaus-ten ja sanontojen taustalla (Huusko & Paloniemi 2006). Näin ollen vastaajan henkilökohtai-set käsitykhenkilökohtai-set irrallisena kokonaisuutena ei ole kiinnostuksen kohteena. Suurin kritiikki tut-kijan tulkintoja kohtaan suuntautuu näin ollen lähinnä juuri näiden merkityskokonaisuuksien etsimiseen, löytämiseen ja painottamiseen eikä niinkään yksittäisten vastausten tulkintoihin.

Johtopäätösten aitous merkitseekin Ahosen (1994, 154) mukaan kategorioiden luotetta-vuutta, eli sitä, voiko aineistosta todella muodostaa kyseiset kategoriat. On esimerkiksi vaa-rana, että tutkija ylitulkitsee aineistoa tai irrottaa käsityksiä asiayhteyksistään (emt.). Johto-päätösten aitoutta olen asiantuntijoiden käsityksiä kuvaillessani pyrkinyt tuomaan esille lä-pinäkyvällä kuvauksella analyysin vaiheista sekä suorilla sitaateilla vastauksista.

Kyselyyn vastanneiden määrä (n = 19) on suhteellisen pieni etenkin määrällistä aineiston kannalta. Kolme vastausta jouduttiin vielä olemaan huomioimatta tarkastelusta, jolloin lo-pulliseksi otoskooksi määräytyi kuusitoista vastaajaa. Fenomenografisessa tutkimuksessa ai-neiston koko ja tutkimuksen yleistettävyys ei kuitenkaan ole kuitenkaan sen merkitsevyyttä mittaava tekijä (Ahonen 1994, 152). Sen sijaan tutkimukselta vaaditaan yleisyyttä, eli sitä kuinka hyvin malli kuvaa yleisellä ja teoreettisella tasolla kohdejoukon käsityksiä tutkitta-vasta ilmiöstä (emt.).

Aineiston pienuudesta ja toisaalta systemaattisen otantamenetelmän puutteesta johtuen mää-rällisiin tuloksiin onkin suhtauduttava erittäin kriittisesti, eikä niitä voida yleistää koko pe-rusjoukkoa koskeviksi päätelmiksi. Kategorioiden määrälliseen painottumiseen näin pie-nessä aineistossa vaikuttaa erittäin vahvasti tutkijan oma tulkinta siitä, mihin kategoriaan hän kunkin vastauksen asettaa. Varsinkin rajatapauksissa lopullinen ratkaisu voi olla mer-kittävä ja siten johtaa johtopäätöksiä harhaan. Tuloksia voidaan kuitenkin tarkastella varo-vaisesti ja nimenomaan tähän aineistoon kytkeytyen.

Relevanssi taas kuvaa Ahosen (1994, 152–155) mukaan johdonmukaista teoreettisen tiedon hyödyntämistä aineiston keräämisessä ja johtopäätösten tekemisessä. Tässä taustatutkimuk-sessa tämä tarkoittaa esimerkiksi selkeiden käsitteiden käyttöä kyselylomakkeessa sekä teo-reettista perehtyneisyyttä ilmiöön ennen kyselyn lähetystä ja analyysin aikana. Näin sekä kyselylomake, analyysi että johtopäätökset pohjautuvat tutkimusalan yleiseen käsitteistöön ja teoriaan. Relevanssi on siten kietoutunut koko tutkimusprosessin ja raportoinnin kulkuun.

Mahdollisimman tarkalla ja läpinäkyvällä kuvauksella lomakkeen suunnittelusta ja toteutuk-sesta, analyysin vaiheista sekä teoriataustasta olen pyrkinyt takaamaan, että aitous- ja rele-vanssituntomerkit ovat lukijan arvioitavissa.