Luotettavuuden arviointi on keskeinen osa tieteellistä tutkimusta.
Tutkimusprosessin luotettavuuden arvioinnissa arvioidaan kokonaisuutta tutkimusaiheen valinnasta raportointiin saakka (Tuomi & Sarajärvi 2002, 135).
Yleisesti tieteellisen tutkimuksen luotettavuutta arvioidaan tutkimusmenetelmien ominaisuuksien perusteella. Menetelmien luotettavuutta voidaan arvioida tarkastelemalla niiden validiteettia ja reliabiliteettia (Tynjälä 1991, 388). Näiden tarkastelu laadullisessa tutkimuksessa ei kuitenkaan ole sellaisenaan mielekästä, koska tutkija on osa tutkimusta ja ihmistieteessä laadullisessa tutkimuksessa tutkimusmenetelmien ominaisuudet eivät ole ensisijainen luotettavuuden kriteeri (Perttula, 2018, 156; Tynjälä, 1991, 388). On myös esitetty, että ihmistutkimuksessa on huomioitava ihmisen ainutlaatuisuus tutkimuskohteen ja tieteen pyrkimys ymmärtää ilmiöitä, jolloin perinteiset tieteellisen tutkimuksen tunnusmerkit; objektiivisuus, yleistettävyys, ennustettavuus ja toistettavuus ovat osittain ontuvia luotettavuuden arvioinnin välineitä (Rauhala, 1994, 25).
Hyvän laadullisen tutkimuksen kriteereistä on tehty viimeisten vuosikymmenten aikana useita määritelmiä ja kuvauksia, joilla on pyritty yleistettävästi luokittelemaan asioita, jotka kuvaavat hyvää laadullista tutkimusta (ks. esim. Altheide & Johnson, 1994; Creswell, 2009, Denzin & Lincoln, 2011;
Elliot ym., 1999; Lincoln & Cuba, 1985; Patton, 2002). Tarve tällaiselle, yhteisesti ymmärretyille kriteereille on nostettu esille, sillä kriteeristö antaa suuntaviivat myös itse kvalitatiiviselle lähestymistavalle tutkimuksissa (Elliot ym., 1999, 225).
Luotettavuuden ja laadukkuuden arviointia ohjaavat pääperiaatteet antavat myös pohjan tieteelliselle vertaisarvioinnille ja sitä kautta tieteen kehittymiselle (Hammesley, 2008, 160). Lincoln ja Cuba (1985, 290) tuovat esille neljä eri tekijää, joiden perusteella tutkimuksen luotettavuutta voidaan arvioida. Nämä tekijät ovat 1) uskottavuus (credibility), 2) siirrettävyys (transferability), 3) riippuvuus (dependability) ja 4) vahvistettavuus (confirmability). Tutkijat itse toteavat käytännöllisesti, että kaiken kattavaa, “täydellistä” ohjeistusta laadullisen tutkimuksen arviointiin tuskin löytyy, (Lincoln & Cuba, 1985, 331), mutta heidän luomaansa kriteeristöä voi käyttää ohjenuorana tutkimuksen luotettavuuden arviointiin heti tutkimusprosessin alusta alkaen.
Uskottavudella (Credibility) tarkoitetaan tutkittavan todellisuudesta tuotetun rekonstruktion vastaavuutta alkuperäisen todellisuuden konstruktion kanssa (Lincoln & Cuba, 1985, 296). Sillä siis tarkoitetaan tutkimuksen tulosten aitoutta ja totuusarvoa, sitä miten hyvin tutkimuksen aineisto ja sen pohjalta toteutettu analyysi kuvaavat tutkittavaa ilmiötä. Uskottavuutta lisää se, miten tutkija on onnistunut ymmärtämään ja esittämään tutkimuskohteensa mahdollisimman totuudenmukaisesti sekä kuvaamaan tutkimuskäytänteitään mahdollisimman tyhjentävästi. Tutkimuskohteen ymmärtäminen vaatii pitkäaikaista sitoutumista tutkittavaan aiheeseen (Lincoln & Cuba, 1985, 301-302; Denzin & Lincoln, 2011, 21-22, ). Tutkijana ja tutkittavien opettajana koen olevani perillä tutkittavasta ilmiöstä. Minulla on esiymmärrys tutkittavasta aiheesta ja sen kontekstista. Olen toiminut luokanopettajan työssä yli 15 vuoden ajan ja tutkimukseen osallistuneiden oppilaiden luokanopettajana olin ennen tutkimuksen aineistonkeruuta toiminut 1,5–2,5 vuoden ajan. Koen siis tuntevani oppilaat ja tunnistavani heidän tunteiden ilmaisujaan ja reaktioitaan realistisesti (Anttila, 2006, 282)., Oppilaiden elämismaailmaansa sekä tutkimukseen vaikuttavan luokkayhteisön ja koulun toimintakulttuurin ovat minulle myös tuttuja. Olen myös kehittänyt työssäni teknologian pedagogista käyttöä ja ohjannut kymmeniä ilmiöpohjaisia oppimisprojekteja. Käytännön arjessa olen teorian ja empirian vuoropuheluna pohtinut paljon yhteisöllisten työtapojen merkitystä, ryhmän yhteisöllisyyttä ja sen kehittämistä ja oppilaiden hyvinvoinnin ja tunteiden merkitystä oppimiselle ja työskentelylle projekteissa. Koen, että olen pystynyt tarkastelemaan tutkittavien todellisuutta oman tutkija-opettajan tulokulman kautta mahdollisimman realistisesti ja oman esiymmärrykseni sekä historiani vaikutukset tunnistaen.
Tutkimuksen luotettavuutta olen lähestynyt myös tutkijatriangulaation tavoin hyödyntämällä toisen tutkijan näkökulmaa tarkasteltaessa ja teemoiteltaessa aineiston osia. Luokkayhteisön A tuottamaa aineistoa olen tarkastellut tutkijakollegani kanssa 2016 julkaistua tutkimusartikkelia varten (Bilund ym., 2016). Kävimme keskusteluja oppilaiden kokemuksien tulkinnoista, ja sain tuon artikkelitutkimuksen analyysin pohjalta varmistettua kokemusten tulkintaa ja luokittelua omaa tutkimustani varten. Kyseinen tutkimus tarkasteli oppilaiden
digitaalisten projektien aikana ilmaisemaa tilannetajua ja tahdikkuutta, jotka liittyvät olennaisesti tunteiden tulkitsemiseen, tunnereaktioihin ja yhteisön ilmapiiriin. Toisena rinnakkaistarkkailijana ja tutkimuksen luotettavuutta lisäävänä tekijänä on toiminut luokkayhteisö BC:n kanssa pariopettajana toimiva opettajakollega, jonka näkemyksille olen jatkuvasti altistanut omia tulkintojani oppilaiden kokemuksista. Myös aineiston analyysissa on ulkopuolinen tutkija tehnyt rinnakkaisanalyysia osasta aineistoa. Näiden pohjalta olen muun muassa tarkentanut omaa analyysiäni. Tutkimuksen aikana kollegiaalinen keskustelu on myös auttanut minua havainnoimaan oppilaita ja lukemaan heidän oppimispäiväkirjojaan eri näkökulmista sekä tuomaan syvyyttä oman tutkimukseni tulkintoihin. Nämä havainnot ja reflektoinnit olen kirjannut tutkimuspäiväkirjaani, jota olen hyödyntänyt aineiston analyysin tukena.
Aineiston luotettavuuteen paneudun tarkemmin seuraavassa luvussa 7.2
Siirrettävyydellä (Transferability) tarkoitetaan tulosten siirrettävyyttä ja yleistettävyyttä (Lincoln & Cuba, 1985, 297). Tätä kriteeriä useat tutkijat kritisoivat muun muassa siksi, että ihmistieteissä jokaisen ihmisen kokemukset syntyvät hänen omassa olosuhteissaan (Perttula 2018, 116). Tutkijan onkin kyettävä ilmaisemaan tutkimuksensa niin selkeästi ja ymmärrettävästi, että lukija pystyy arvioimaan sen merkitystä omakohtaisesti (Tynjälä 1991, 391).
Tutkimuksessani olen koetellut siirrettävyyttä kahden eri tutkimusryhmän tuloksia tarkasteltaessa. Digitaalisen projektin työskentelytavan toteuttaminen kahden eri oppilasryhmän kanssa, eri sisältöisinä projekteina eri aikaan, on antanut mahdollisuuden tarkastella tutkimuksen tuloksia siirrettävyyden näkökulmasta; miten erilaiset oppilasryhmät työskentelevät rakenteeltaan samankaltaisissa digitaalisissa projekteissa ja mitä tunteita he ilmaisevat. Tästä näkökulmasta on mahdollista hyödyntää tutkimukseni tuloksia tietyin rajoituksin muihin vastaaviin yhteisöllisen digitaalisen sisällöntuotannon projekteihin eri kouluissa ja kouluasteilla.
Lincoln ja Cuba (1985, 316) nostavat esille myös läpinäkyvyyden ulkoisen validiteetin mahdollistamiseksi. Tutkijan ja tutkimuksen lukijan tulee pystyä lisäämään omaa ymmärrystään tutkittavasta ilmiöstä, laajentaa kokemuksiaan ja saada vahvistusta aiemmille tiedoille (Creswell, 2007, 15, 230–231; Denzin &
Lincoln, 2011.) Eskola ja Suoranta (2014, 213), ja Hirsjärvi ym. (2010) korostavat lisäksi tutkimuksen luotettavuuden arvioinnissa itse tutkimustekstin; miten realistisen ja totuudenmukaisen kuvan se antaa tutkimuskohteesta ja tutkimuskäytänteistä, aineiston keräämisestä, analysoinnista ja tulkinnasta. Tiheä kuvaus ilmiöstä antaa mahdollisuuden tutkimuksen käytettävyydelle ja siirrettävyydelle toiseen tilanteeseen tai kontekstiin. Tarkalla kuvauksella tutkimuksen eri tekijöistä ja vaiheista luvussa 5 sekä tutkimuskontekstista luvussa 4, olen halunnut antaa lukijalle mahdollisuuden tarkastella tutkimukseen ja sen osallistujiin vaikuttavia tekijöitä luotettavuuden näkökulmasta. Olen myös halunnut antaa lukijalle mahdollisuuden ottaa digitaalisen projektin oman työn
osaksi ja kehittää siitä omaa, pedagogista työvälinettä tutkimustuloksiani ja kokemuksiani hyödyntäen.
Riippuvuus (Dependability) merkitsee sitä, että tutkimus on toteutettu tieteellisen tutkimuksen periaatteiden mukaisesti (Lincoln & Cuba 1985, 298-299). Menetelmällisesti riippuvuus viittaa analyysitavan soveltuvuuteen keskenään erilaisissa tapauksissa kuitenkin kokemuksen tutkimuksessa analyysimallit muodostetaan aineistolähtöisesti, toisten ihmisten kokemuksesta lähtien, joten kyseisen kriteerin sovellettavuus tästä näkökulmasta on haastavaa.
Menetelmällistä luotettavuutta olen pyrkinyt lisäämään avaamalla aineiston analyysin ja sen kehittelyn luvussa 5.7.1 ja 5.7.2 mahdollisimman tyhjentävästi.
Lisäksi arvioin aineiston analyysin luotettavuutta vielä tarkemmin luvussa 7.3.
Tynjälä (1991) nostaa riippuvuuteen liittyen esille myös tutkimustilanteen arvioinnin. Sen, miten tutkija huomioi erilaiset ulkoiset vaihtelua aiheuttavat tekijät sekä itse tutkimuksesta ja ilmiöstä johtuvat tekijät. Tässä tutkimuksessa näitä tekijöitä voivat kahden tutkittavan luokkayhteisön välillä esimerkiksi vauhdilla kehittyvä teknologia, jonka merkitystä tutkittaville ja tutkimukselle olen pohtinut tarkastellessani luokkayhteisöjen toimintakulttuuria luvussa 4.2.
Tutkimustilanteen arviointiin liittyy myös se, että tutkijalle tuttu ympäristö voi aiheuttaa vääristymää tutkimukselle; se on tutkijalle täynnä itsestäänselvyyksiä, jolloin valmiit annetut ajatusmallit, säännöt ja normit ovat valmiina tutkijan kykenemättä asettamaan niitä kyseenalaisiksi. Toisaalta tuttuus on myös mahdollisuus, kun pyritään löytämään poikkeuksia arjesta. Olen tietoisesti tutkimuksen aikana välillä erkaantunut tarkastelemaan tilanteita tutkijan roolista viimeistään koulupäivän ja luokanopettajan roolini jälkeen tutkimuspäiväkirjassani. Lisäksi aika on etäännyttänyt minua huomioimaan eri tilanteita uusin silmin oppilaiden oppimispäiväkirjoja tarkastellessani.
Väistämättä kuitenkin pitkä kokemus luokanopettajana sokeuttaa minut joillekin arjen asioille, jotka ovat voineet vaikuttaa tutkimukseen ja sen tuloksiin.
Vahvistettavuus (Confirmability) käsitetään tulosten vapautena tutkijan suuntautuneisuudesta ja se vastaa perinteisten luotettavuuden kriteerien kohdalla objektiivisuutta (Lincoln & Cuba 1985, 299). Kuitenkin ihmistieteissä tutkijan subjektiivisuutta ei voida ohittaa (Patton, 1990, 482; 2002, 547-582). Aineiston keräämisen ja analyysin osalta käsittelen subjektiivisuuttani luvuissa 7.2 ja 7.3.
Tutkimusprosessin aikana pohdin ja tarkastelin jatkuvasti omaa vaikutustani tutkimukselle. Nisula (1997, 173) toteaa, että metodista huolimatta tutkijan läsnäolo kentällä vaikuttaa aina kanssakäymiseen tutkittavien kanssa. Tässä tutkimuksessa olen luokkayhteisössä tutkijan, opettajan, opettajakollegan ja opetuksen suunnittelijan rooleissa sekä mukana monenlaisissa sosiaalisissa vuorovaikutustilanteissa. Tarkastelen kentän tilannetta ja samalla sekoitan sen tapahtumia roolieni kautta. Olen siis itse myös osa tutkimusta, osa kokemusta tutkimusmateriaalin lähteenä. Oma arvomaailmani, kulttuurini, historiani ja taustani vaikuttavat siihen näkemykseen, jonka muodostan tutkittavasta ilmiöstä
ja miten vaikutan siihen opettajana. Olen pyrkinyt tutkimusraportissani avaamaan subjektiivisuuttani ja lisäämään näin tutkimuksen luotettavuutta kertomalla henkilökohtaiset sitoumukseni sekä tuomalla koko tutkimusprosessin lukijan arvioitavaksi, jotta lukija pystyy seuraamaan tutkimuksen etenemistä ja aineiston analysoinnin ja tulkinnan vaiheita mahdollisimman kattavasti (Creswell, 2007, 230–231, Denzin & Lincoln, 2011). Tämän tutkimuksen kaltaisissa laadullisissa tutkimuksissa tutkijan on merkityksellistä saavuttaa tutkittavien luottamus, jolloin etäisyys tutkijan ja tutkittavien välillä pyritään tietoisesti vähentämään (Tynjälä, 1991, 392). Tässä koen onnistuneeni luokanopettajan roolissani merkittävällä tavalla. Perttula (2018) nostaa esille näkökulman, jossa tutkijan subjektiivisuus on tutkimustyön edellytys, ei sen haittatekijä ja täysin neutraali tilanne tutkittavan ja tutkijan osalta tekee tutkimuksesta harhakuvitelman. Vastaavasti subjektiivisuus vaatii tutkijan reflektion ja korostaa aiemmin mainittua raportoinnin merkitystä.
(Perttula 2018, 136, 156-157.)
Tutkimuksen tulkinnat saavat tukea toisista tutkimuksista, eli tutkija käy aktiivista vuoropuhelua oman tutkimuksensa tuloksien sekä aiempien tutkimusten sekä teorioiden kanssa (Eskola & Suoranta, 2014, 213). Oman tutkimusprosessini aikana perehdyin tutkimuskirjallisuuteen ja teorioihin tarkentaen aihepiiriä, mitä pitemmälle tutkimus eteni ja kohdentui oppilaiden ilmaisemien tunteiden tarkasteluun. Olen tutustunut useasta näkökulmasta tunteiden merkitykseen oppimiselle, oppimisen tunneteorioihin sekä yhteisöllisen oppimisen ja digitaaliseen toiminnan, erityisesti mediakasvatukseen liittyvään tutkimukseen, joiden pohjalta tutkimustuloksiani voidaan tarkastella ja vertailla.
Perehtyneisyyteni tutkimuksen teoreettiseen taustaan vahvistaa omien ennakkokäsitysteni tiedostamista ja sitä kautta myös tutkimuksen objektiivisuuden tavoittelua (Syrjälä, 1994).
Kaikkea edellä mainittua olen pyrkinyt huomioimaan tutkimusprosessin aikana ja kuvaamaan koko tutkimusprosessin mahdollisimman huolellisesti ja rehellisesti. Olen lisäksi noudattanut yleisiä tutkimuksen eettisiä ohjeita sekä hyviä tieteellisiä käytäntöjä (ks. Tuomi & Sarajärvi, 2018; Tutkimuseettinen neuvottelukunta, 2019; 2012).