Tutkimuksen reliabiliteetti, validiteetti ja yleistettävyys

Tieteellisessä tutkimuksessa luotettavuudella ja tiedon oikeellisuuden varmista-misella on perinteisesti ollut suuri merkitys. Näitä ominaisuuksia voidaan tutkia reliabiliteetin ja validiteetin avulla. Saaranen-Kauppisen ja Puusniekan (2009) mukaan kummatkin näistä mittaustavoista ovat perinteisesti olleet kvantitatiivi-sen tutkimukkvantitatiivi-sen tapoja mitata luotettavuutta ja vastaavasti niiden soveltuvuutta laadullisen tutkimuksen arviointiin on kyseenalaistettu. Kuitenkin nykyisin niitä käytetään yleisesti luotettavuuden mittaamiseen joko sellaisenaan tai käsitteiden merkityksiä muokkaamalla paremmin laadullisen tutkimuksen kontekstiin sopi-vaksi. (Saaranen-Kauppinen & Puusniekka, 2009.)

Reliabiliteetin tarkoitus on mitata sitä, kuinka systemaattisesti yhtäläisiä loksia tutkimus tuottaa, eli toisin sanoen, kuinka toistettavissa tutkimuksen tu-lokset ovat. Golafshanin (2003) mukaan kvantitatiivisen tutkimuksen mukaista käsitystä reliabiliteetista ei suoraan voi soveltaa laadullisen tutkimuksen mittaa-misessa, joten sen käsitettä joudutaan muokkaamaan sisältämään asioita kuten tutkimuksen uskottavuus, neutraliteetti, varmistettavuus, johdonmukaisuus ja soveltuvuus. Saaranen-Kauppisen ja Puusniekan (2009) mukaan reliabiliteettia voidaan arvioida kolmen kohdan avulla: metodin, ajallisen ja johdonmukaisuu-den reliabiliteetin kautta. Metodin arviointi tarkoittaa käytetyn tutkimusmetodin, kuten tietyn haastattelukysymyksen tuottamien tulosten luotettavuutta tietyissä olosuhteissa, kun taas ajallinen reliabiliteetti tarkoittaa sitä, että mittaukset ja ha-vainnot ovat tosia jossain tietyssä ajan hetkessä. Johdonmukaisuuden arviointi tarkoittaa esimerkiksi eri mittausvälineillä tai -tavoilla saavutettujen tulosten yh-denmukaisuutta. (Saaranen-Kauppinen & Puusniekka, 2009.)

Validiteetti tarkoittaa käytännössä sitä, mittaako ja vastaako tutkimus tut-kimusongelmaan oikein tuottaen todellisuutta vastaavia tuloksia. Saaranen-Kauppinen ja Puusniekka (2009) määrittelevät validiteetin tutkimuksen pätevyy-den arvioinniksi, jota voidaan mitata muun muassa tutkimuksen perusteellisuu-den ja tehtyjen päätelmien oikeellisuudella ja ymmärrettävyydellä. Kuitenkin, etenkin laadullisen tutkimuksen kohdalla, validiteetin määritelmä voidaan jou-tua käsittämään uskottavuuden tai vakuuttavuuden kautta, sillä tutkimus ei kos-kaan voi ymmärtää tutkittavaa ilmiötä täysin, vaan tuo siitä ilmi vain osan. (Saa-ranen-Kauppinen ja Puusniekka, 2009.) Myös Golafshani (2003) nostaa tämän on-gelman esille, sillä hänen mukaansa validiteetin mittaamisen sopivuutta on ky-seenalaistettu laadullisen tutkimuksen kohdalla, mutta se on kuitenkin jossain määrin mahdollista, muun muassa trianguloimalla dataa, jolloin monista läh-teistä ja mahdollisesti eri menetelmillä kerätty data tuottaa todennäköisemmin luotettavampia tuloksia.

Näistä näkökulmista arvioiden tulosten reliabiliteettia ja validiteettia voi-daan arvioida melko kattavasti. Kaikkiin haastatteluihin sovellettiin samaa kysy-mysrunkoa, joka perustui aikaisemmasta tutkimuksesta kerättyyn lähdemateri-aaliin. Haastattelutilanne oli olosuhteiden kannalta kaikissa tapauksissa hyvin samankaltainen sillä erotuksella, että yksi haastattelu toteutettiin internetin väli-tyksellä. Tällä ei kuitenkaan nähty olevan suurta vaikutusta, sillä haastattelu ja tulosten analysointi tapahtui samalla tavalla kaikissa tapauksissa. Esimerkiksi kohdehenkilöiden äänenpainoja ja asennoitumista yksittäisiin kysymyksiin kyet-tiin havainnoimaan kaikissa tapauksissa yhtäläisesti. Haastatteluihin valikoitu-neet kohdeorganisaatiot valittiin tutkimusongelmaan sopivasti siten, että niillä kaikilla oli määritellyt pakolliset yhteneväiset ominaisuudet ja toisistaan eroavat ominaisuudet monipuolisten tulosten varmistamiseksi. Osaan tutkimukseen osallistuneista henkilöistä oli myös olemassa olevia kontakteja, jotka edesauttoi-vat positiivista suhtautumista tutkimukseen osallistumisesta. Myös ajallisesti mi-tattuna tutkimusta voidaan pitää luotettavana, sillä kaikki haastattelut toteutet-tiin kolme viikon aikavälillä, jota voidaan pitää tutkimuksen kontekstissa niin lyhyenä aikana, että ajan vaikuttavuutta eri haastattelutulosten välillä voidaan pitää lähes olemattomana. Lisäksi haastattelutulokset ovat tuoreita, jolloin niitä voidaan pitää nykytilaa kuvaavina. Tutkimuksen empiirisen osuuden tuloksia verrataan myös dokumentoituun lähdeaineistoon, jolloin tutkimuksen tuloksia varmistetaan useiden kanavien kautta.

Haastattelutilanteen osalta tutkimuksesta pyrittiin minimoimaan erilaisten haittaavien tekijöiden vaikutusta. Myersin ja Newmanin (2007) mukaan tällaisia haittaavia tekijöitä ovat muun muassa haastattelun keinotekoisuus, ajan ja luot-tamuksen puute, kohdehenkilön sopivuus, hawthorne-efekti ja väärinymmär-rykset. Haastattelun keinotekoisuus tarkoittaa sitä, että haastattelija on haastatel-tavalle täysin tuntematon, jolloin tämä saattaa vaikuttaa haastateltavan vastauk-siin, erityisesti aikapaineen alla. Hawthorne-efekti taas tarkoittaa sitä, että haas-tateltava itse ei pysy neutraalina, vaan alkaa kontrolloimaan ja johdattelemaan keskustelua siten, että se vaikuttaa haastateltavan vastauksiin haastattelijan miel-tymysten mukaisesti. (Myers & Newman, 2007.) Näitä ongelmia pyrittiin välttä-mään sillä, että haastattelutilanteesta pyrittiin tekevälttä-mään haastateltavalle mahdol-lisimman helppo ja paineeton. Kaikkiin haastateltaviin oli luotu keskusteluyh-teys jo ennen haastattelua ja itse haastattelutilanne järjestettiin haastateltavan ha-luamassa paikassa, esimerkiksi haastateltavan työpaikalla. Haastatteluille varat-tiin riittävästi aikaa siten, että haastatteluissa ei tarvinnut kiirehtiä, eikä yksikään haastattelu jäänyt kesken. Kohdehenkilöt taas olivat kaikissa tapauksia sopivia, sillä kaikista tapauksissa kohdehenkilön työtehtäviin kuului haastattelun aiheen mukaiset tehtävät. Hawthorne-efekti on haastattelijalle itselleen vaikea havaitta-vaksi, etenkin kun puolistrukturoitu haastattelutyyli mahdollistaa keskustelevan ja haastattelun kulkua muokkaavan tyylin. Kuitenkin arvion mukaan efektiä ei ollut, tai sen vaikutukset arvioitiin hyvin pieniksi, sillä haastateltavilla oli aina mahdollisuus perustella vastauksiaan ja haastattelu kulki keskustelunomaisesti.

Lisäksi mahdollisten väärinymmärrysten kohdalla haastattelija pyrki varmista-maan haastateltavan sanoman joko heti haastattelutilanteessa tai haastatteluja

litteroidessa. Vaikka reliabiliteetti ja validiteettivaatimukset täyttyvät tämän tut-kimuksen kohdalla hyvin, on tutkimukseen liittyvät rajoitteet ja haasteet kuiten-kin ymmärrettävä. Rajoitteita ja haasteita kuvataan tarkemmin tutkimuksen yleistettävyyttä käsittelevässä osiossa 7.3.

5 TUTKIMUKSEN TULOKSET

Tämä luku esittelee tutkimuksessa saatuja tuloksia ja pyrkii esittelemään niin eri tapauksista löytyneitä yksittäisiä mielenkiintoisia havaintoja, suurempia yhte-neväisiä kokonaisuuksia ja selkeitä eroja. Ensin esitellään ensin sertifikaatin han-kintaperusteisiin liittyviä tekijöitä niin tietoturva- kuin talousnäkökulmasta esit-telemällä hankintaan liittyviä hyötyjä, mahdollisuuksia ja haasteita. Kolman-nessa alaluvussa keskitytään sertifiointielimen valintaperusteisiin liittyviä teki-jöihin. Tuloksia esitellään niin tekstinä kuin taulukkomuodossa, sekä haastatte-luissa tulleita mielenkiintoisia sitaatteja esitellen. Sitaateissa on viitattu haastatel-tuja henkilöitä taulukossa 4 esitellyn organisaatiota kuvaavan numeron mukai-sesti, siten että haastateltava H1 viittaa organisaation numero 1 ja vastaavasti H2 viittaa organisaatioon numero 2.

5.1 Sertifioinnin hankintaan ja ylläpitoon vaikuttavat tekijät