Hanna Vilkan (2015,196–197) mukaan laadullisen tutkimuksen toteuttaminen ja tutki-muksen luotettavuutta ei voida erotella. Hänen mukaansa viime kädessä tutkija on itse luotettavuuden kriteeri, koska tutkimuksen luotettavuudessa arvioidaan tutkijan tekemät teot, valinnat sekä ratkaisut, joita tutkimuksen edetessä tutkijan itse tulisi arvioida jokai-sen valinnan kohdalla. Koko tutkimusprosessin aikana tutkija tekee arviointia suhteessa teoriaan, analyysitapaan, tutkimusaineiston luokitteluun, tulkintaan, tuloksiin ja johtopää-töksiin. Tutkijan tulisi pystyä myös kuvaamaan sekä arvioimaan mitä, milloin ja miksi sekä miten tutkimuksen aikana on päädytty tiettyihin ratkaisuihin. Laadullisessa tutki-muksessa tutkimuksen luotettavuuteen liittyvät kysymykset kohdistuvat tukijaan it-seensä, aineiston laatuun, sen analysointiin ja tulosten esittämiseen. (Latvala & Vanha-nen-Nuutinen 2001,36.)
Tässä tutkimuksessa käytettiin julkisia dokumentteja ja aineistoja, joten aineistossa ei ole suojattavaa aineistoa tai materiaalia, jonka esittäminen tutkimuksessa ei ole vaadi yksi-tyisyyden tai organisaation tietojen suojaamista. Tutkimuksen aineiston keruu tehtiin pää-sääntöisesti hallitusohjelmien osalta Valtioneuvoston internet- sivustoilta. Aineisto rajau-tuu hallitusohjelmien luonteen ja maakohtaisuuden vuoksi suomalaisiin aineistoihin. Eu-roopan unionin aineisto on koottu EuEu-roopan unionin ylläpitämiltä sivustoilta, jotka ovat
joko informatiivisia sivustoja tai EU:n eri elimien päätöksiä. Haasteeksi muodostui sys-temaattinen aineistonhaku ja aineiston selkeä rajaaminen Euroopan unionia koskevissa aineistoissa. Tutkimukseen en löytänyt riittävän selkeää tiedonhakukanavaa, joka vaikut-taa Euroopan unionin työllisyyttä ohjaavien asiakirjojen osalta tutkimuksen luotettavuu-teen. Tämä vaikutti myös siihen, että toinen tutkimuskysymyksistä jäi tutkimuksessa tu-loksien valossa ohuemmalle käsittelylle.
Tutkimuksen rajaamisen tein tietoisesti makrotasolle, jättäen tutkimuksesta pois käytän-nöntason toiminnan ja toimenpiteet. Makrotason tutkimus antaa mahdollisuuden irrot-tautua tutkijana ennakkoasenteista ja oletuksista, koska tarkoituksena ei ole tarkastella hallitusohjelmissa esiintyvien toimenpiteiden toimivuutta mikrotasolla. Tämän tutkimuk-sen kautta oli tarkoitus lisätä ymmärrystä hallinnon ohjaukseen sekä asiakokonaisuuksiin, jotka ovat vaikuttaneet mikrotason toimenpiteisiin ja uudistuksiin. Hallitusohjelmat ja Euroopan unioni hallinnollisena toimijana olivat itselleni vieraampia kokonaisuuksia, jonka jäsentämiseen tarvittiin perusteellista tutustumista, jotta sain ymmärryksen valtion ja unionin keskinäisestä suhteesta ja ohjauksen kokonaisuudesta.
Tutkimuksen aihekokonaisuus on laaja, koska hallitusohjelmien aikajänne sijoittuu kah-dellekymmenelle vuodelle sekä tutkimuksessa lisäksi tarkastelen myös EU:n ohjauksen tasoa. Näkemykseni mukaan haasteena tutkimuksen luotettavuudelle on tietynlainen sa-turaatiopisteen löytäminen tutkimuksen aihealueen ollessa suhteellisen laaja. Jari Eskola ja Juha Suoranta (2005, 62–63) kirjoittavat aineiston riittävyydestä, sen kyllääntymisestä eli saturaatiosta. Saturaation saavuttamisen perusajatuksena on se, että aineiston määrä on riittävä tuomaan esille sen teoreettisen ajattelukuvion tutkimuskohteesta. Saturaatio-piste saavutetaan, kun lisäaineiston keräämisellä ei saada tutkimukselle uutta lisäinfor-maatiota sekä aineistossa alkaa pyöriä tietynlainen peruslogiikka, joka toistuu usein ai-neistossa samankaltaisena. Tutkijalla itsellään on päätäntävastuu siitä, milloin aineistoa on tutkimuskohteeseen nähden kerätty riittävästi ja se on tarpeeksi kattava tutkimuson-gelmiin nähden. Näkemykseni mukaan tutkimukseen kerättyä aineisto antaa tutkittavasta ilmiöstä peruskuvan, mutta se ei mene vielä niin sanotusti pintaa syvemmälle hallinnolli-sessa ohjaukhallinnolli-sessa. Hallitusohjelmien ohjaus näkyy myös mikrotasolla ja erilaisten halli-tusten hankkeiden ja projektien välityksellä, joita en ole käsitellyt tutkimuksessa
tarkem-min. Samoin EU tasolla tehdyt toimenpiteet ja eri tasoiset toimielimien päätöksen ja suo-situkset eivät ole aukottomasti esitettynä tässä tutkimuksessa. Euroopan unionin eri eli-millä ja tahoilla on monenlaisia verkkosivustoita, joiden kokonaisuutta on välillä vaikea hahmottaa. Vaikka Euroopan unionia ja sen toimintaa on pyritty tekemään läpinäkyväksi ja helpommin ymmärrettäväksi, on kokonaisuuden hahmottaminen haasteellista monien eri toimielimien vuoksi.
Aineistosta saatava tieto riippuu siitä, miten tutkija on tavoittanut tutkittavana olevan il-miön ja millaista tietoa aineistonkeruu on tuottanut. Kvalitatiivisessa tutkimuksessa luo-tettavuutta voidaan mitata tutkimuksen totuusarvon, sovellettavuuden, pysyvyyden ja neutraaliuden näkökulmasta. Sisällönanalyysin luotettavuutta tarkasteltaessa sisällönana-lyysissa on haasteena se, miten tutkija kykenee pelkistämään tutkittavan ilmiön mahdol-lisimman luotettavasti ja miten luotettavasti kyetään osoittamaan aineiston ja tulosten vä-linen yhteys. (Latvala & Vanhanen-Nuutinen 2001,36.) Tutkimuksessani sisällönanalyy-sin haasteellisuus on tutkimuksen aineiston tulkinta. Ohjausmekanismit ovat usein limit-täiset ja ohjauksen tasot ulottuvat useisiin toimenpiteisiin. Tutkimuksessa näkyy tällöin tutkijan oma tulkinta siitä, mihin kategoriaan tutkija tulkitsee kunkin ohjausmuodon kuu-luvan.
Roger Sapsford ja Victor Jupp (2006, 9) kirjoittavat dokumenttien yleisestä luonteesta ja käytöstä tutkimuksessa. Dokumenttiaineistolähtöisessä tutkimuksessa tulee ymmärtää dokumenttien vahvuudet sekä rajoitukset, joilla on vaikutusta tutkimuksen luotettavuu-teen. Tutkijan tulee olla tietoinen siitä, millaiseen tarkoitukseen dokumentit ovat kirjoi-tettu ja millaisia taustavaikuttajia dokumenttien taakse kätkeytyy. Piergiorgio Corbetta (2003,34) pohtii saman suuntaisesti instituutioiden dokumenteista. Eri instituutioiden do-kumenteissa voi olla hänen mukaansa epätäydellistä tietoa sekä niissä kuvastuu instituu-tioiden julkisuuteen annettava kuva. Instituuinstituu-tioiden tuottamat dokumentit tuotetaan insti-tuutioiden tai yksilöiden toimesta. Tämän vuoksi dokumenteissa taustalla vaikuttaa aina kirjoittajan organisaation konteksti sekä rooli. (Corbetta 2003,3.) Tutkimuksessa käytin hallitusohjelmia sekä oheispöytäkirjoja ja muistioita. Hallitusohjelmat kuvastavat valtion hallinnon tahtotilaa ja painotuksia, joiden avulla yhteiskuntaa saadaan johdetuksi maamme hyväksi. Euroopan unionilla on myös samankaltainen pyrkimys selkeyttää unio-nin asemaa jäsenmaihin nähden, sen vaikutusta päätöksenteossa ja painotuksissa.
Ohjausmekanismiajattelun mukaiset hallinnolliset ohjausmuodot ilmenevät hallitusohjel-missa selkeästi. Ohjaus suuntaa valtion toimintaa, jossa ohjausmuodot ovat osin päällek-käisiä. Tämän vuoksi niitä on haasteellista erottaa toisistaan. Esimerkiksi informaatio-ohjauksen sisällä voi olla samanaikaisesti resurssi- ja määrärahaohjausta sekä samanai-kaisesti se ohjaa selkeästi tavoitteiden saavuttamista. Ohjausmuodot näyttävät olevan yh-teydessä toisiinsa, joka on tuonut haasteita kategorioidessa ohjausmuotoja analyysirun-koon. Tämän vuoksi tutkimuksen tulokset ovat tutkijan tulkintaa siitä, mihin kategoriaan kukin ohjausmuoto sijoittuu.