Kyselytutkimuksen tulosten luotettavuus

Kyselylomakkeen avulla saatujen tulosten luotettavuuden arvioinnin kannalta on tärkeää arvi-oida sekä tulosten reliabiliteettia että validiteettia. Reliabiliteetti viittaa mittaustulosten toistet-tavuuteen, pysyvyyteen ja yhteneväisyyteen eri aikaan samoilla mittareilla mitattujen tulosten kanssa. Jos samasta kohteesta uudelleen mitatut tulokset ovat samoja, mittaustuloksia voi-daan pitää reliaabeleina. (Kananen 2011, 118–119; Ketokivi 2015, 97–98)

Ketokiven (2015, 103) mukaan poikkileikkaustutkimuksen aineiston osalta tutkimuksen toista-miseen perustuvaa reliabiliteettia ei voida laskea, mutta reliabiliteettia pystytään arvioimaan mittarien sisäisen yhdenmukaisuuden tarkastelulla: onko käsitettä mitattu usean eri mittarin tai indikaattorin avulla? Jos mittariin, esimerkiksi faktorianalyysillä muotoiltuun summamuuttu-jaan, on yhdistetty useampi indikaattori, sen sisäistä yhdenmukaisuutta voidaan mitata indi-kaattorien korrelaatiolla ja Cronbach alpha -reliabiliteettikertoimella, joka perustuu varianssei-hin. Sisäinen yhdenmukaisuus kertoo siitä, että eri indikaattoreilla voidaan tuottaa samantyyp-pisiä mittaustuloksia, mutta ei yksinään riitä sen toteamiseen, että muuttujat mittaisivat samaa asiaa. Reliabiliteetin ohella tulisi siis tarkastella myös validiteettia. Myös eri tutkimusvaiheiden ja ratkaisujen tarkalla dokumentoinnilla voidaan todentaa reliabiliteettia. (Kananen 2011, 120, 123; Ketokivi 2015, 100–104)

Tämän tutkimuksen osalta toistomittaus ei ole mahdollinen, sillä tutkimus toteutettiin poikittais-tutkimuksena ja kyselyn avulla kerättiin poikkileikkausaineisto. Seurantaa ei ole mahdollista

toteuttaa kyselyyn vastanneille, sillä kyselyssä ei kerätty vastaajista tunnistetietoja. Toistetta-vuutta voidaan kuitenkin arvioida tutkimuksen toteutuksen kautta. Tutkimuksen kulku ja vai-heet pyrittiin dokumentoimaan mahdollisimman selkeästi ja tarkasti, mikä tukee reliabiliteettia ja toistettavuutta. Tähän liittyen kyselylomakkeen pohja tallennettiin ja liitettiin osaksi tutkimus-raporttia, kyselylinkin jakamisesta sovittiin sähköpostitse ja kyselyn tulokset tallentuivat Webro-pol-palveluun. Tilastollisten testien tulokset tallennettiin lisäksi sähköisesti. Kyselylinkin levit-tämisen osalta korkeakoulujen yhteishenkilöt ovat tiedossa, mutta jokaista tarkkaa jakelupol-kua ei ole tiedossa, sillä kyselylinkin jakelu tapahtui kohdekorkeakoulujen päättämällä, heille soveltuvalla tavalla. Lisäksi jakeluun vaikutti suullinen mainostus sekä sosiaalisen median käyttö. Käytännössä ei siis pystytä sanomaan, kuinka monelle ihmiselle linkki todellisuudessa jaettiin tai montako ihmistä se tavoitti. Kaikessa jakelussa kuitenkin huomioitiin ja mainittiin kohderyhmä, minkä lisäksi taustatietokysymyksillä pyrittiin varmistamaan vastaajan kuulumi-nen kohderyhmään. Kohderyhmä oli rajattu ihmisjoukko, joten toistettavuuden osalta olen-naista olisi tavoitella eri tavoin tämän kohderyhmän jäseniä.

Toistettavuuden ja sitä kautta reliabiliteetin osalta olennaista on myös kyselyn toteuttamisen ympäristö ja yleinen tilanne toteutushetkellä. Aineiston keräys ajoittui talviaikaan ja joulun ym-pärille, jolloin kohderyhmäläisten syyslukukauden lopun kiireet ja toisaalta myös joululoma saattoivat vaikuttaa vastaustilanteeseen. Muun muassa tämän vuoksi kyselyä pidennettiin vielä tammikuulle. Tilanne, jossa vastaaja sai kyselylinkin tai aloitti kyselyyn vastaamisen, saattoi vaikuttaa vastausten sisältöön (esimerkiksi kiire, vastaushetken tunteet). Myös kyselyn pituus tai vastaajien kiinnostus aihetta kohtaan saattoi vaikuttaa vastaajien vastauksiin ja sii-hen, ketkä lopulta vastasivat kyselylomakkeeseen. Toistettavuuden osalta pitää siis huomi-oida, että eri vastaustilanteissa vastaukset voivat olla hieman erilaisia.

Reliabiliteetin kannalta olennaista on, että ilmiötä, tässä tapauksessa opiskelijoiden näkemyk-siä ja odotuksia tulevaisuudesta ja koulutuksen vastaavuudesta tulevaisuuteen, mitattiin eri näkökulmista. Näkemyksiä tulevaisuuden työelämästä mitattiin sekä muutosvoimien että ske-naarioiden avulla, minkä lisäksi osaamistarpeiden osalta mitattiin erilaisia taitoja, joista monet liittyivät samoihin osaamisteemoihin. Koulutuksen vastaavuutta mitattiin sekä osaamisten, yleisen arvion kuin koulutustapojenkin osalta. Tutkimuksessa faktorianalyysien perusteella muodostetuille summamuuttujille (tarkastellaan luvussa 6) laskettiin lisäksi reliabiliteettikertoi-met (Cronbach alpha -arvot) sen varmistamiseksi, että niiden sisäiset yhdenmukaisuudet oli-sivat vahvoja. Summamuuttujista jätettiin myös pois yksittäisiä muuttujia, jos se paransi relia-biliteettia.

Reliabiliteetin lisäksi on siis tärkeää arvioida myös mittareiden ja tulosten validiteettia. Validi-teetti viittaa tulosten pätevyyteen, eli siihen, kuvastavatko tulokset ja mittaavatko mittarit to-della sitä, mitä tutkimuksessa on ollut tarkoitus mitata, eli oikeaa asiaa. Validiteettitarkaste-lussa on tärkeää siis arvioida, mitä mittarit todellisuudessa mittaavat. Usean eri indikaattorin tai mittarin käyttö tukee validiteettia siten, että tutkimuksen ilmiön tai käsitteen sisältöä tulee mitattua kattavasti. Validiteetti on välttämätöntä tutkimuksen luotettavuuden kannalta. Lisäksi esimerkiksi faktorianalyysissä voidaan testata, kuinka hyvin faktorimalli sopii aineistoon ja ovatko mittarit siten yksiulotteisia. (Kananen 2011, 118, 121–123; Ketokivi 2015, 97–98, 104–

105, 110)

Validiteettia voidaan arvioida sekä sisäisen että ulkoisen validiteetin kannalta: näistä sisäinen viittaa mittarien sisällön oikeellisuuteen sekä luotettavuuteen ja ulkoinen viittaa tutkimustulos-ten yleistettävyyteen koko perusjoukkoon (Kananen 2011, 124). Ketokiven (2015, 104–106) mukaan sisäisen validiteetin kannalta tärkeää on mittareiden perustuminen teoreettisiin käsit-teisiin ja ilmiöihin, niiden operationalisointi sekä sen arviointi, mitataanko mittareilla todella sitä, mitä halutaan mitata. Tämän tutkimuksen kyselylomakkeen luontivaiheessa kyselyn mittarit pyrittiin johtamaan ja määrittelemään teoreettisen viitekehyksen – kirjallisuuden ja tehtyjen tut-kimusten – perusteella, jotta ne todella liittyisivät ilmiöön tutkimuksen taustalla. Kyselyssä oli tutkimuskysymystenkin mukaisesti tarkoitus tutkia juuri kohderyhmän näkemyksiä ja ajatuksia tulevaisuuden työelämästä ja koulutuksen vastaavuudesta, eli ei faktatietoa siitä, millainen tu-levaisuus on, mitä osaamista tarvitaan tai miten hyvin koulutus vastaa työelämän tarpeita. Ky-symykset muotoiltiin siten, että niistä selvisi kyseessä olevan arvio tai näkemys. Kyselyssä tuli selkeästi mitattua opiskelijoiden näkemyksiä ja arvioita, sillä ilmiöt liittyivät tulevaisuuteen, josta ei edes pystytä sanomaan ehdottomia faktoja. Lisäksi taustatietokysymyksillä ja kohde-ryhmään kuulumattomien vastaajien vastausten karsinnalla varmistettiin kuulumista kohderyh-mään ja siten mittauksen pätevyyttä, vaikka kysely olisikin tavoittanut myös kohderyhkohderyh-mään kuulumattomia. Täten kyselyn voidaan ajatella mitanneen yleisesti sitä, mitä haluttiinkin mitata.

Yleistettävyyden osalta voidaan sanoa, että tutkimuksen näyte ei välttämättä edusta täysin koko populaatiota, koska listausta kaikista havaintoyksiköistä ja niiden ominaisuuksista ei ollut saatavilla, jolloin näytettä voitaisiin suoraan verrata populaatioon. Kaikkia kohderyhmään kuu-luvia ei välttämättä tavoitettu useista jakelukanavista huolimatta, joten ei voida varmuudella sanoa, että tulokset heijastaisivat koko maantieteellisen rajauksen mukaisen alueen korkea-koulujen opiskelijoiden näkemyksiä. Kaikista kohdekorkeakouluista saatiin kuitenkin vastauk-sia, joskin Lahden ammattikorkeakoulusta vain muutamia, joten yleistettävyyden osalta

tulok-sia voitaneen pitää suuntaa-antavina. Vastaajien määrä oli kuitenkin kokonaisuudessaan ra-jallinen. Yleistettävyyden vuoksi tutkimuksessa käytettiin lisäksi tilastollisia testejä olettaen, että havainnoista muodostuvat mittareiden tulosten tilastolliset jakaumat toteutuisivat myös perusjoukossa. Jos tuloksia haluttaisiin yleistää koko Suomen korkeakoulujen opiskelijoihin, tulisi huomioida, että tilastollisten testien valossa vaikuttaa siltä, että korkeakoulu vaikuttaa jonkin verran opiskelijan näkemyksiin (tätä pohditaan luvussa 6). Täten voidaan todeta, että eri korkeakoulujen opiskelijoiden näkemykset saattaisivat olla erilaisia.

Validiteetti huomioitiin myös faktorianalyysien yhteydessä (luku 6). Ensinnäkin faktorianalyy-seissä todettiin MSA-arvojen, jotka kuvaavat muuttujien korrelaatiomatriisin sopivuutta faktori-analyysiin, olevan hyvällä tasolla, mikä tukee muuttujien validiteettia. Lisäksi faktorianalyysin perusteella summamuuttujia muodostettaessa pohdittiin tarkasti, mittaavatko faktoreille latau-tuneet muuttujat todellisuudessa samaa asiaa tai teoreettista käsitettä. Jos faktorille latautu-neilla muuttujilla oli löydettävissä piilevä, yhteinen ominaisuus, tehtiin muuttujista muodoste-tuille summamuuttujille korrelaatioanalyysit ja siten laskettiin reliabiliteetit. Jos piilevää, yh-teistä ominaisuutta muuttujien välillä ei ollut suoraan löydettävissä, ei faktoreille latautuneista muuttujista muodostettu summamuuttujia ollenkaan perustuen arvioon sisäisen validiteetin vaillinaisuudesta (ei nähty mittaavan samaa asiaa). Täten uusia muuttujia muodostettaessakin huomioitiin sekä reliabiliteetti että validiteetti.