Luotettavuuden tarkastelussa korostuvat eri asiat tutkimusten tyypeistä riippuen (Syrjälä &
Numminen 1988, 135). Laadullisessa tutkimuksessa korostuvat kuitenkin yleisesti analyysin systemaattisuus ja tulkintojen luotettavuus. Esimerkiksi kaikki valinnat ja periaatteet on syytä kuvata. (Ruusuvuori ym. 2010.) Tapaustutkimuksia kritisoidaan tyypillisesti luotettavuuden puutteesta, yleistettävyyteen liittyvistä seikoista sekä vähäisestä teoriasidonnaisuudesta (Syr-jälä & Numminen 1988, 3). Tässä tutkielmassa näihin tekijöihin on pyritty panostamaan esi-merkiksi kuvailemalla kohdeseuran tilannetta, jotta olisi mahdollista pohtia, kuinka hyvin tu-loksia voi soveltaa muihin tapauksiin.
Eskolan ja Suorannan (2008, 212–222) mukaan luotettavuutta voi tarkastella toisaalta realisti-selta kannalta, toisaalta vakuuttavuutena. Vakuuttavuusnäkökulmassa korostuu tutkimusraport-ti tekstutkimusraport-tinä. Keskeistä luotettavuuden kannalta on tutkimuskäytäntöjen kirjaaminen tekstutkimusraport-tinä ja lukijoiden vakuuttaminen. On kuitenkin mahdotonta kuvata kaikkea virheettömän tarkasti. Rea-listisesta näkökulmasta korostuu se, kuinka pätevästi raportissa kuvataan tutkimuksen kohdetta.
Raportti ja tutkimuksen käytännöt nimittäin eroavat toisistaan väistämättä. Tästä näkökulmasta luotettavuus jaetaan usein sisäiseen ja ulkoiseen validiteettiin.
Validiteetilla tarkoitetaan laadullisessa tutkimuksessa aineistojen ja tulkinnan pätevyyttä ja sitä, miten hyvin johtopäätökset vastaavat todellisuutta. Sisäinen validiteetti kuvaa sitä, missä mää-rin raportti vastaa aineistoa ja miten esimerkiksi tutkija itse on vaikuttanut työhön. Esimerkiksi tutkijan läsnäolo saattaa vaikuttaa vastauksiin, eikä hän välttämättä pääse irti ennakko-oletuk-sistaan tai ensivaikutelmastaan. Sisäinen validiteetti voi liittyä myös analyysiin: tietoja kootessa voi tapahtua virheitä tai tehty johtopäätös voi olla virheellinen. Lopullista varmuutta ei voi saa-vuttaa. (Syrjälä & Numminen 1988, 136–137; Laitinen 1998, 59; Ruusuvuori ym. 2010.)
Sisäistä validiteettia voi kutsua myös uskottavuudeksi. Uskottavuutta voi pyrkiä osoittamaan esimerkiksi käsittelemällä ja pohtimalla tutkijan muodostaman selityksen lisäksi myös
vaihto-79
ehtoisia selityksiä, tarkastelemalla negatiivisia tapauksia eli poikkeuksia tai triangulaatiolla.
(Syrjälä & Numminen 1988, 139–142.) Periaatteessa luotettavuutta voi lisätä kasvattamalla ai-neiston kokoa. Toisaalta aineistoa on usein paljon muutenkin, eikä määrän kasvattaminen ole välttämättä tarkoituksenmukaista. (Eskola & Suoranta 2008, 213–214.) Varmuutta voi lisätä myös huomioimalla omat ennakko-oletukset, ja tutkimuksen luotettavuus saa tukea esimerkiksi jos toisten tutkimusten tulokset tukevat tehtyjä tulkintoja (Eskola & Suoranta 2008, 212; Syrjälä
& Numminen 1988, 145).
Ulkoinen validiteetti viittaa tulosten yleistettävyyteen ja hyödynnettävyyteen tai käyttökelpoi-suuteen eli siihen, ovatko tulokset yleistettävissä muualla kuin tutkitussa tapauksessa. Johto-päätösten pitäisi päteä myös toiseen samanlaiseen tilanteeseen, minkä takia kyseinen tilanne on syytä kuvata tarkasti. (Syrjälä & Numminen 1988, 142; Laitinen 1998, 67.)
Validiteettia voi lisätä esimerkiksi vertaamalla tulkintoja toisissa tutkimuksissa tehtyihin tul-kintoihin (Ruusuvuori ym. 2010). Tässä tutkielmassa onkin pyritty tuomaan esille toisten tut-kimusten tuloksia ja kuvailemaan tapausta, jotta tuloksia voisi hyödyntää muissakin tilanteissa.
Myös omat ennakko-oletukset on pyritty tiedostamaan ja niiden vaikutus minimoimaan. Ai-neistoa kerättiin niin paljon, että mitään uutta ei enää tuntunut ilmaantuvan, mikä lisää päätel-mien luotettavuutta.
Validiteetin lisäksi tärkeä käsite on reliabiliteetti, joka tarkoittaa toistettavuutta, johdonmukai-suutta tai yhtenäisyyttä eli sitä, saavutettaisiinko samat tulokset, mikäli ilmiötä tarkasteltaisiin uudelleen samalla aineistolla. Ulkoinen reliabiliteetti tarkoittaa sitä, kuinka hyvin toinen tutkija pääsisi samoilla metodeilla samoihin tuloksiin. Sen kannalta on tärkeää raportoida tarkasti eri vaiheet ja menetelmät ja osoittaa, miten tuloksiin on päädytty. Toistettavuutta ei voi testata, mikä korostaa valintojen kuvaamisen merkitystä. (Syrjälä & Numminen 1988, 143; Eskola &
Suoranta 2008, 212–222; Ruusuvuori ym. 2010.) Sisäinen reliabiliteetti viittaa esimerkiksi tut-kijoiden yksimielisyyteen ja havaintojen yhtenäisyyteen. Jos tekijöitä on vain yksi, voi esimer-kiksi antaa toisten tutustua aineistoon ja valintoihin. (Syrjälä & Numminen 1988, 144.) Tällaista arviointiahan lukijat tavallaan tekevät. Myös lukijalla tai vastaanottajalla onkin vastuuta luotet-tavuuden arvioinnissa (Syrjälä & Numminen 1988, 137).
Tapaustutkimuksissa perinteisiin tutkimuksen piirteisiin kuuluva toistettavuus ei ole usein mie-lekäs tekijä (Saarela-Kinnunen & Eskola 2001). Tapaustutkimuksissa voi kiinnittää huomiota
80
siihen, kuinka yksityiskohtaisesti tutkimusprosessi on kuvattu ja tukevatko eri menetelmillä saadut tulokset toisiaan. Reliabiliteettia ja validiteettia ei voi käsitellä toisistaan irrallisina, vaan ne kytkeytyvät toisiinsa. Uskottavuuden osoittaminen on myös kytköksissä tutkimusprosessiin ja raportointiin, eikä niitä voi tarkastella erillään. (Syrjälä & Numminen 1988, 145.)
Mäkelä (1990) tulkitsee, ettei laadullisen tutkimuksen toistettavuutta voi muotoilla reliabilitee-tiksi eikä tulkintoja voi arvioida selitysasteen tai vastaavien mittareiden avulla. Hän tunnistaa neljä laadullisen tutkimuksen arviointiperustetekijää: aineiston merkittävyys ja yhteiskunnalli-nen tai kulttuuriyhteiskunnalli-nen paikka, aineiston riittävyys, aineiston kattavuus sekä analyysin arvioitavuus ja toistettavuus. Aineiston merkittävyys viittaa siihen, että aineisto on analysoimisen arvoinen.
Sille on mahdoton asettaa yksiselitteisiä kriteerejä, mutta se on perusteltava. Aineiston riittä-vyyttä on vaikea arvioida ennalta, mutta toimiva yleisohje on, ettei kerralla kannata kerätä liikaa aineistoa, vaan sitä voi tarvittaessa täydentää myöhemmin. Määrällisistä tutkimuksista eroten laadullisissa analyysi muuttuu yleensä merkittävästi työläämmäksi määrän kasvaessa, määräl-lisissä tutkimuksissa määrän vaikutus on pienempi. Aineiston kattavuudella viitataan siihen, että tulkinnat ovat perusteltuja koko aineiston valossa eivätkä perustu satunnaisiin poimintoi-hin. Jos aineistoa on paljon, analyysi ei välttämättä ole kovin syvällistä, mikä on ongelmallista.
Analyysin arvioitavuus tarkoittaa, että tutkijan päättelyketju on helposti seurattavissa. Tällöin lukija voi hyväksyä tai kyseenalaistaa tehdyt tulkinnat. Analyysin toistettavuus puolestaan tar-koittaa, että tulkintasäännöt on esitetty niin selkeästi, että toinen henkilö pääsisi niiden avulla samoihin tuloksiin. Arvioitavuus ei kuitenkaan takaa toistettavuutta. (Mäkelä 1990.)
Tutkija voi vaikuttaa tutkimuksensa analyysiin ja tuloksiin, ja täten tuloksissa saattaa olla ikään kuin harhaa. Omat lähtökohdat ja ennakko-oletukset onkin syytä huomioida, ja ellei niitä ei tiedosta, niillä voi olla suuri vaikutus tutkimukseen. Myös määrällisissä tutkimuksissa tehdään paljon valintoja, eli ongelma ei koske ainoastaan laadullisia tai tapaustutkimuksia. (Laitinen 1998, 85–88; Häikiö & Niemenmaa 2007.) Joka tapauksessa laadullisen tutkimuksen arvioin-nissa keskeistä on tutkija itse. Hänen on tunnistettava oma merkityksensä, ja luotettavuuden arviointi koskee koko prosessia. (Eskola & Suoranta 2008, 210–211.)
Tutkimuksia arvioidaan tutkimusraporttien perusteella. Keskeistä on väitteiden totuudenmukai-suus ja perusteltavuus. (Eskola & Suoranta 2008, 212.) Lopulta lukijat arvioivat työn luotetta-vuuden. Omien käsitysten tiedostaminen ja esittäminen helpottaa arviointia. (Häikiö & Nie-menmaa 2007.)
81 7 TULOKSET