Laadullisen tutkimuksen validiteetin arvioinnissa korostuvat erityisesti tulkintojen perustana olevien analyyttisten kriteereiden avaaminen, analyysiohjelmien käyttäminen sekä aineistokoosteiden tekeminen ja visualisointi. Kerätyn aineiston sekä siitä tehtävien tulkintojen pätevyyden arviointi ovat siis merkittäviä tutkielman validiteetin kannalta. (Nikander 2010.)Tutkimusmenetelmän näkökulmasta validiteettia voi pitää hyvänä silloin, kun tutkimuksen kohderyhmä ja kysymykset ovat oikeat. Menetelmä tulisikin valita sen mukaan, millaista tietoa halutaan. (Hirsjärvi ym. 2002, 2013.)
Analyysin systemaattisuuden ja tulkinnan luotettavuuden kriteerit ovat keskeisiä arvioitaessa laadullisen tutkielman reliabiliteettia. Valinnat, rajaukset ja analyysin etenemistä ohjaavat valinnat tulee avata. Aineiston kokonaisuuden koostumisen ja päähavaintoja kuvaavien aineiston osien havainnollistaminen lisäävät tutkielman luotettavuutta. (Nikander 2010.) Havaintoyksikköinä ollessa ihmisiä, mittauksen reliabiliteettia voivat heikentää kysymysten väärinymmärtäminen, haastateltavien muistin puutteellisuus, vastaajan motivaatio, vastaustilanne, vastausajankohta, vastauspaikka, kysyjän vaikutus annettuihin vastauksiin sekä vastausten virheellinen kirjaaminen.
(Taanila 2014, 27.)
84 Operationalisoinnilla tarkoitetaan teoreettisten käsitteiden muuttamista empiirisesti mitattavaan muotoon. Tutkijan tulee kerätä havaintoja teoreettisista käsitteistä ja ilmaista nämä aineistoa kerätessään tutkittavalle ymmärrettävällä tavalla. (Eskola & Suoranta 1998, 75-78.) Tutkimusteema operationalisoidaan pilkkomalla mielenkiinnon kohteena oleva teema osakysymyksiksi tai osaväittämiksi (Vastamäki 2007, 136). Kyselylomaketutkimuksessa kysymysten muoto on seikka, joka aiheuttaa eniten virheitä tutkimustuloksiin. Vastaajan tulkitessa kysymystä eri tavoin kuin tutkija, tulokset vääristyvät. (Valli 2007, 102.) Omassa tutkielmassani operationalisointi toteutettiin käyttämällä likert-asteikollisia osaväittämiä, avoimia kysymyksiä sekä väittämiä, joihin pystyi valitsemaan sopivan vastauksen valmiista vaihtoehdoista. Teoreettista operationalisointia kyselylomakkeelle ei kuitenkaan ennen sen teettämistä tehty.
Aikaisempaan tutkimustietoon ja mittareihin perehtyminen olisi ollut ensiarvoisen tärkeää ennen kyselylomakkeen laatimista ja lähettämistä vastaajille. Itse laadittu mittari tulisikin aina testata esitutkimuksessa ja otoksen olisi suositeltava olla mahdollisimman samankaltainen varsinaisen vastaajajoukon kanssa. (Vastamäki 2007, 136). Esitutkimusta kohdejoukkoa vastaavalla otantaryhmällä ei kuitenkaan toteutettu. Tutkittavat teemat saatiin kuitenkin pilkottua vastaajille ymmärrettäviksi kysymyksiksi ja väittämiksi, jolloin operationalisoinnin voi tältä osin katsoa täyttäneen tehtävänsä. Esitutkimuksen sijaan kyselylomake käytettiin lausuntakierroksella Itä-Suomen yliopiston Ohjauksen ja koulutuksen kehittämisen työryhmässä (OKKE), jotta voisimme tehdä yhteistyötä tavoitteisiin pääsemiseksi myöhemmin. Lausuntakierroksen jälkeen kyselylomaketta muokattiin vielä yliopiston hallinnon toiveita sekä sen hetkistä työni ohjaajaa kuunnellen.
Tutkielman avoimista vastauksista löydettiin toistuvia teemoja, joiden pohjalta luokittelu ja analysointi pystyttiin tekemään. Ohi aiheen meneviä vastauksia ei ollut, vaan vastaukset olivat loogisia suhteessa lomakkeissa esitettyihin kysymyksiin. Näin vastaajien voi olettaa ymmärtäneen kysymykset tutkijan tarkoittamalla tavalla. Väittämien avulla saatiin haluttua tietoa tutkittavasta teemasta. Koska vastaavaa mittaria ei kuitenkaan ollut käytetty aikaisemmin saman ilmiön tutkimiseen, ei mittaria voi pitää täysin tarkkana, jolloin myös sen luotettavuus kärsii. Tietyn ajankohdan auki olevan nettilomakkeen kautta toteutetussa kyselyssä tutkijalla ei ole mahdollisuutta kontrolloida vastaustilannetta tai vastauspaikkaa. Näiltä osin tutkielman reliabiliteettiin tulee suhtautua kriittisesti.
85 Kyselylomake lähetettiin kaikille perusjoukon jäsenille eli Itä-Suomen yliopiston perustutkinto-opiskelijoille. Koko perusjoukko kattoi tuolloin noin 12 000 opiskelijaa. Vastauksia kyselyyn saimme 222 kappaletta. Vastausprosenttia voi näin ollen pitää todella pienenä (noin 2 %), jolloin otosta ei voi pitää edustavana ja tutkimuksen tuloksia ei voi yleistää koko perusjoukkoa koskeviksi.
Kyselylomakkeen laadintavaiheessa tai aineiston keruuvaiheessa ei kuitenkaan pyritty kokonaisotantaan. Kyselylomakkeen alkuperäisenä tarkoituksena oli tarjota ääni ja vaikuttamisen kanava ylioppilaskunnan tekemään vuoden 2015 strategian mukaiseen työhön. Päätös selvityksen valjastamisesta akateemisen tutkimuksen käyttötarkoitukseen tapahtui aineiston ollessa jo kerätty. Tämän voi katsoa vaikuttaneen merkittävällä tavalla sekä koko tutkimuksen kulkuun että myös tutkimuksen luottavuuskriteereiden täyttämiseen.
Vastaajakatoon vaikuttavia seikkoja kyselyssä voi olla useita.Sekä kirje- että nettikyselyissä kato on usein huomattavan suuri (ks. esim. Taanila 2014) mikä ilmeni myös tässä kyselyssä. Kyselyn saatetekstissä ISYY:n kerrottiin kartoittavan jäsenistönsä kokemuksia sekä tarpeita liittyen opintojen ohjaukseen sekä uraohjaukseen. Saatesanoissa ilmaistiin, että kyselyyn vastaamalla parantaa ylioppilaskunnan mahdollisuuksia olla kehittämässä ohjauspalveluita UEF:ssa. On mahdollista, että kyselyyn vastasivat erityisesti ne opiskelijat, jotka kokivat Itä-Suomen yliopiston ohjauspalveluissa olevan kehittämisen varaa. Lisäksi kyselyn alustana toimi ISYY:n oma uutiskirje, mikä on osaltaan voinut vaikuttaa siihen, millaiseksi vastaaja-aines muodostui. Esimerkiksi ylioppilaskunnan automaatiojäsenyys jakaa ajoittain voimakkaastikin opiskelijoiden mielipiteitä (ks. esim. kansalaisaloite.fi 25.9.2017 tai Helsingin Sanomat 29.8.2017), jolloin sitä ei voi pitää alustana täysin neutraalina. Kaikkien opiskelijoiden ei voi myöskään olettaa lukevan ylioppilaskunnan viikoittain tulevaa uutiskirjettä, jolloin kaikki kyselylomakkeen saaneet eivät ole myöskään todennäköisesti tutustuneet kyselyyn.
Vastausajankohtaan tutkija voi vaikuttaa asettamalla kyselylomakkeen olemaan auki vastaajalle tietyn ajanjakson, kuten tässä aineistonkeruussa tehtiin. On aiheellista pohtia, olisivatko vastaukset olleet erilaisia, mikäli kysely olisi toteutettu opiskelijoille esimerkiksi alkusyksystä loppukevään sijaan. Oletettavaa on, että suurimmalla osalla opiskelijoista opintoihin liittyvät kokemukset olivat tuoreemmassa muistissa kuin jos kysely olisi toteutettu lukuvuoden alussa.
Tämän aineistokeruun ajankohdan etuna voi pitää sitä, että myös ensimmäisen vuoden opiskelijoilla oli mahdollisuus tarkastella saamaansa ohjausta ja opintojen etenemistä koko lukuvuoden osalta.
86 Kyselylomakkeen käyttö asettaa tutkijalle aina haasteita. Kyselylomakkeen avoimet kohdat voivat parhaimmillaan osoittaa tutkijalle yleisiä väärinkäsityksiä, kiinnostuksen kohteita tai asenteita, jotka muuten voisivat jäädä havaitsematta. Haittapuolena on avointen kyselyiden hidas suorittaminen sekä vaikeus tulkita vastauksia. Kyselyn ainutkertaisen luonteen vuoksi kysely ei ole myöskään toistettavissa sellaisenaan, eikä tutkimuksen reliabiliteetin kontrolloiminen toistettavuuden avulla ole näin mahdollista. (Soininen & Merisuo-Storm 2009, 130.)Oman tutkielmani heikkoutena voi pitää kyselylomakkeen laatimista alun perin selvitys- ei akateemisen tutkimuksen käyttötarkoitukseen. Tämän seurauksena menetelmäpohdinta ja -kartoitus tehtiin vasta aineistonkeruun jälkeen ja myös laajempi perehtyminen vastaaviin tutkimuksiin alkoi vasta tässä vaiheessa. Toisaalta kyselylomakkeen kautta kerätty aineisto mahdollisti niin tilastollisen päättelyn kuin myös osin rikkaan laadullisen aineiston analyysin.
Asenteiden tai mielipiteiden mittaamisessa suositellaan usein Likertin asteikkoa, jonka tulisi sisältää pariton määrä vastausvaihtoehtoja. Jokainen arvo olisi myös suositeltavaa verbalisoida.
(Valli 2007, 115-116.) Likertin asteikon heikkous on se, että jotkut ihmiset eivät halua ottaa kantaa asioihin ja valitsevat tämän takia paljon juuri keskimmäistä vaihtoehtoa. (Valli 2007, 117). Tässä tutkielmassa ainoastaan urasuunnittelutaitoja kartoittavassa osiossa löytyi kaksi väittämää, joissa suurin vastaajaryhmä oli valinnut keskimmäisen vaihtoehdon. Suurimmassa osassa Likert-asteikollisia väittämiä asteikon tyypillinen heikkous ei siis tullut näkyväksi, vaan vastaajat valitsivat jonkin muun kuin keskimmäisen vaihtoehdon. Ainoastaan arvot 1 ja 5 oli verbalisoitu, jossa 1=
täysin eri mieltä ja 5= täysin samaa mieltä. Erityisesti vastausvaihtoehto 3 on voinut näyttäytyä joillein vastaajille epäselvänä verbalisoinnin puuttumisen takia.
Avointen kysymysten huonona puolena pidetään sitä, että niihin jätetään usein vastaamatta tai vastaukset ovat epätarkkoja (Valli 2007, 124). Tässä tutkielmassa kaikista vastaajista avoimeen vastausvaihtoehtoon mahdollisesta ohjauksen lisätarpeesta oli vastannut 46 % vastaajista (102 opiskelijaa), ja opintojen etenemistä kartoittavaan avoimeen kysymysvaihtoehtoon oli vastannut 132 vastaajaa, eli noin 60 % kaikista vastaajista. Osa vastaajista oli siis jättänyt avoimen vastausvaihtoehdon kokonaan tyhjäksi, mutta vastaukset puolestaan olivat suurimmilta osin selkeästi jäsennettyjä ja tulkittavissa olevia. Tältä osin analysoitavissa olevaa aineistoa kertyi vastauksista tyydyttävä määrä.
On huomionarvoista, että kysely toteutettiin juuri ennen vuoden 2015 keväällä valitun hallituksen julkistamia koulutusleikkauksia. Opintojen eteneminen sekä opiskelijoiden yliopistoissa kokema
87 tuen tarve olivat tällöin huomattavassa määrin esillä mediassa, mikä vaikutti myös tehtäviini ylioppilaskunnan hallituksen koulutuspoliittisena vastaavana. Aineiston käsittely ja tulkinta sekä tutkielman teoriaosuuden laadinta sijoittuivat omasta näkökulmastani koulutuksen kannalta vahvasti arvolatautuneeseen ajanjaksoon. Näin työn kokonaisuus päätyy heijastamaan myös tutkimuksellisissa valinnoissaan tiettyä ajankuvaa sekä tutkijan omaa näkökulmaa aiheeseen.