Tutkimuksen luotettavuus

Validiteetti ja reliabiliteetti

Onko tutkimukseni pätevä? Onko lomake laadittu niin, että se mittaa sitä, mitä pitää?

Pyrin validiuteen käyttämällä hyväksi aiheen tuntemusta, aikaisempia tutkimuksia ja lastensuojelun palveluista tehtyä jaottelua. Validius on jaoteltu prosessivalidiuteen, ennustevalidiuteen, sisällölliseen validiuteen ja rakennevalidiuteen (Alkula, Pöntinen

& Ylöstalo 2002, 91).

Strukturoituja kysymyksiä laatiessani pohdin kaikkia mahdollisia vastausvaihto-ehtoja. Lomakkeen laadinnassa painottui kirjallisuuden ohella työhistoriani, vaikka pyrinkin vähentämään työhistoriani merkitystä kuuntelemalla lomakkeen laadinnas-sa toisia sosiaalityöntekijöitä. Kyselylomakkeeslaadinnas-sa kyselin Kainuun maakunta -kun-tayhtymän työtovereiltani heidän kokemuksiaan. Koska tunsin alan, pyrin luomaan käyttökelpoisen lomakkeen ja yritin katsoa, että samalla lomakkeella muokattuna olisi mahdollista tutkia myös muita kuin kainuulaisia sosiaalityöntekijöitä, vaikka lomakkeessa on myös ainoastaan Kainuuta koskevia osioita. En ole kuitenkaan ai-noastaan pyrkinyt häivyttämään työhistoriani vaikutuksia. Olen myös hyödyntänyt työkokemustani ja maakunnan tuntemustani lomakkeen tekemisessä.

Organisaatiouudistus toi mukanaan ammattirakenteen muutoksen. Lomake on luotu kuntakohtaisen yhdennetyn sosiaalityön tilanteessa, enkä lomaketta laatiessani tiennyt riittävästi tulevista muutoksista, joten en pystynyt laatimaan lomaketta seu-rantakyselyn kannalta optimaaliseksi. Organisaatiomuutoksen jälkeisestä sosiaalityön sektoroitumisesta huolimatta lähetin kyselylomakkeen kaikille, kuten alkukyselynkin aikana. Ajatus oli, että vastausten kautta näkyisi muutos yhdennetystä sosiaalityöstä sektoroituneeseen. Näin kävikin, mutta ei vastausten kautta, vaan vastaamattomuu-den kautta. Kyselyyn vastasivat muutamia poikkeuksia lukuun ottamatta vain lasten-suojelua tekevät työntekijät. Lisäksi ammattirakennemuutos alku- ja seurantakyselyn välillä aiheutti sen, että kuntakohtaista palvelujen saatavuutta ei voinut kysyä kuntien sosiaalijohtajilta, kuten alkukyselyssä tehtiin. Tällaiset kuntakohtaiset kysymykset osoitettiin kuntien lastensuojelun sosiaalityöntekijöille. Tältä osin vastaukset eivät ole täysin vertailukelpoisia alku- ja seurantakyselyn osalta.

Muuttaisinko mitään kyselylomakkeessa, jos voisin alkaa alusta? Tiesin, että en-nen maakuntakokeiluun siirtymistä jokaisessa kunnassa oli sosiaalijohtajat, ja sosi-aalijohtajan rooli oli useassa kunnassa kohtalaisen laaja ja sisälsi myös käytännön sosiaalityötä. Oletukseni oli, että sosiaalityöntekijät tekivät yhdennettyä sosiaalityötä toisissa kunnissa laaja-alaisemmin kuin toisissa. Lomake on laadittu tällaisilla oletuk-silla. Maakuntakokeilu kuitenkin myllersi lastensuojelua hyvin paljon. Alku- ja seu-rantakyselyn paremman vertailtavuuden saavuttamiseksi lomake olisi pitänyt laatia hiukan toisin. Tutkimukseen olisi sopinut paremmin lomake, jossa sosiaalijohtajien kyselylomakkeella olisi ollut lähinnä vain organisatorishallinnollisia kysymyksiä.

Muut kysymykset olisi pitänyt siirtää sosiaalityöntekijöiden lomakkeeseen, koska se lähetettiin kaikille vastaajille, toisin kuin sosiaalijohtajien lomake. Samalla olisi pitänyt vähentää sosiaalityöntekijöiden lomakkeen yksityiskohtia muun muassa yhdenne-tystä sosiaalityöstä ja sillä tavalla lyhentää sosiaalityöntekijöille suunnattua raskasta lomaketta. Tällöin yhden vastaajaryhmän, sosiaalijohtajien, poissaolo toisen kyselyn aikana ei olisi vaikuttanut niin paljon kyselyjen kohdentamiseen.

Edellä esittämistäni huomioista huolimatta lomake mittaa juuri sitä, mitä pitää, lastensuojelupalvelujen tilaa ja siinä tapahtuneita muutoksia. Lomakkeen laadintaan

liittyvät ongelmat kertovat myös siitä, mitä tutkin, muutoksesta. Lomakkeen vali-diutta lisää se, että käytännön työssä olevana olen käyttänyt käsitteitä, jotka ovat käytössä käytännön lastensuojelutyössä. Vastaajien kommentit kysymyslomakkeesta olivat, että kyselylomakkeen kysymykset olivat helppoja ja käytännönläheisiä. Vas-taajat kuitenkin kokivat ongelmaksi kyselyn sivumäärän.

Joihinkin seurantakyselyn strukturoitujen kysymysten kysymyssarjoihin tuli niin vähän vastauksia, että niitä ei voinut käyttää. Muutoksen selvittämiseen piti käyttää ainoastaan avoimia vastauksia. Tällaisia kysymyksiä oli eniten lastensuojelun toimin-tatapojen muutoksen selvittämiseen käytetyissä kysymyksissä. Vastaamatta jättämi-sessä oli kuitenkin selvä logiikka. Vastaus kysymyksiin löytyi esimerkiksi maakunnal-lista ohjeista tai käytänteistä tai kysymykseen vastaaminen ei hallintokokeilun aikaan enää ollut ajankohtaista. Todennäköisesti näihin kysymyksiin vastaaminen jätettiin väliin vastausten itsestäänselvyyden vuoksi, koska muutenkin oli paljon vastattavaa.

Vastaajat tiesivät, että minulla oli käytössäni täysin samat maakunnalliset ohjeistukset kuin heilläkin. Alkukyselyn tilanteissa ei kuitenkaan maakunnallisia ohjeita ja käy-tänteitä ollut, minkä vuoksi nämä kysymykset olivat tulleet kysymyslomakkeeseen.

Ahkerimmin avovastauksia antoivat esimiesasemassa tai heihin verrannollisessa asemassa olevat. Myös keskimääräisesti pisimmät avoimet vastaukset tulivat heiltä.

Lisäksi pitkään lastensuojelua tehneet sosiaalityöntekijät kirjoittivat muita vastaajia enemmän ja pidempiä avoimia vastauksia. Vastaajissa oli kuitenkin myös niitä, joi-den kaikki vastaukset kysymyssarjojen lopussa olivat sanan, kahjoi-den tai korkeintaan muutaman sanan mittaisia.

Kaipasin joskus lisätietoa kysymyksiin. Haastatteluja en nähnyt tarpeellisiksi, kos-ka esimiestaso ja pisimpään lastensuojelua tehneet olivat avovastauksissaan kos-kaikkein aktiivisimpia. Pohdin kuitenkin jossain vaiheessa täydentäviä kysymyksiä. Joskus kui-tenkin kävi niin, että strukturoituja ja avovastauksia yhdistelemällä eri kysymysten alta löytyi riittävä tieto, joissain tapauksissa monipuolisena ja yllättävänäkin. Jos riittävää tietoa ei kuitenkaan löytynyt, etsin lisätietoa valmiiksi dokumentoidusta aineistosta, kuten pöytäkirjoista, hankeraporteista tai organisaatiokaavioista. Valmista aineistoa onneksi löytyi paljon, enkä lopulta nähnyt tarvetta täydentäviin kysymyksiinkään.

Vastasin itsekin kyselyihin. Alkukyselyssä vastaukseni hukkui täysin muiden vastauksiin. Seurantakyselyssäkin strukturoidut vastaukseni katosivat muiden jouk-koon. Seurantakyselyssä oli huomattavasti enemmän avokysymyksiä kuin alkukyse-lyssä. Hallintokokeilun vaikutuksia kuvaavissa avovastauksissa vastauksieni palasia löytyy Ylä-Kainuuta koskevissa tuloksissa. Ylä-Kainuussa vastaajia ei ollut monta.

Alkukyselyyn Ylä-Kainuusta tuli 10 vastausta, seurantakyselyyn 9 vastausta.

Tutkimuksessa tulee esille niiden näkemys, jotka vastasivat. Avovastausten koh-dalla niiden näkemys painottuu, jotka vastasivat eniten. Tämä ei kuitenkaan vähennä tutkimukseni pätevyyttä, mutta painottaa esimiesasemassa ja pitkään työssä olleiden näkemyksiä.

Prosessivalidiudella tarkoitetaan käsiteanalyysin, operationalisoinnin ja mittauk-sen mahdollisimman tarkkaa kuvausta (Alkula ym. 2002, 91). Olen pyrkinyt kuvaa-maan tässä tutkimuksessa käytetyt käsitteet, lomakkeen laatimisprosessin ja kyselyn tekemisen ja analysoinnin yksityiskohtaisesti. Olen kertonut myös sosiaalityönteki-jätaustani ja yhteyteni Kainuun hallintokokeiluun. Kuvaan myös laadinnassa olleita ongelmia, jotta niiden vaikutusta on mahdollista arvioida.

Ennustevalidius viittaa mittarin kykyyn mitata oikein jotain mittarin ulkopuolista ilmiötä, esimerkiksi ennustaako korkeakoulun valintakoe opiskelumenestystä tai saa-ko kahdella mittarilla samanlaiset tulokset (Alkula ym. 2002, 91–92). Miten Kainuun lastensuojelu on muuttunut Kainuun hallintokokeilun aikana? Olen tutkimuksessani

pyrkinyt luomaan lomakkeen, joka tutkii lastensuojelun kokonaisuutta, ja lomakkeen kautta löytyy vastaus tutkimuskysymykseen.

Sisällöllinen validius tarkoittaa, että mittarin sisällön on oltava tutkittavan kä-sitteen kannalta perusteltu, jotta sen voidaan katsoa mittaavan tarkoitettua asiaa.

Rakennevalidius taas merkitsee sitä, että tutkimuksen tulokset ovat sopusoinnussa odotusten kanssa. (Alkula ym. 2002, 92.) Sisällöllistä validiutta pyrin parantamaan käsitteiden määrittelyn kautta, eli olen määritellyt käsitteitä operationalisoidessani niitä siten, että mittari ja käsite olisivat yhteneväisiä. Rakennevalidiutta voi selvittää vertailemalla tutkimukseni tuloksia muihin vastaavanlaisiin tutkimuksiin. Tässä tut-kimuksessa vertailua on käytetty (ks. alaluku 6.3), ja tulokset ovat muihin tutkimuk-siin verrattuina samansuuntaisia.

Tutkimuksen reliabiliteetti tarkoittaa tutkimustulosten pysyvyyttä, sattuman vä-häisyyttä, sitä, kuinka tarkasti tutkimus tuottaa saman tuloksen uusintatutkimuksessa tai -mittauksessa. Vastaajamäärä ei ollut suuri. Strukturoitujen kysymysten kautta saadut vastaukset olivat usein vain suuntaa antavia. Kun avovastaukset täydensivät strukturoituja kysymyksiä, sattuman osuus väheni.

Olen selvittänyt, millaisilla taustoilla seurantakyselyyn jätettiin kokonaan vas-taamatta, ja se on kerrottu tuloksissa. Selittäviä tekijöitä löytyy, joten uusintatutki-muksessa samat vastaajat olisivat varmaan jättäneet vastaamatta. Seurantakyselyssä oli myös yksittäisiä kysymyksiä ja kysymyssarjoja, joihin vastattiin harvemmin kuin muihin. Osa kysymyksistä ei ollut enää seurantakyselyn aikaan kiinnostavia, kun oli siirrytty kuntakohtaisesta suurelta osin kokonaisvaltaisesta työstä maakunnalliseen sektorikohtaiseen työhön. Kaikkia strukturoituja kysymyksiä ja kysymyssarjoja ei voi-nut käsitellä, sillä vastauksia tuli liian vähän. En usko, että tilanne olisi muuttuvoi-nut toiseksi uusintakyselyn avulla.

Tutkimuksessa on käytetty paljon Likert-asteikollisia kysymyksiä. Vaihtoehdot ei, aina tai ei koskaan ovat selviä vaihtoehtoja, mutta melko usein tai erittäin usein eivät ole yhtä selviä vaihtoehtoja ja voivat helposti nostaa uusintamittauksessa viereisen vaihtoehdon.

Vastaajat tunsivat minut, tutkimuksen tekijän, ja tiesivät, että olin saman organi-saation palveluksessa kuin hekin. Tällä voi olla vaikutusta avoimiin vastauksiin, joita erityisesti seurantakyselyssä oli paljon. Samoista asioista olisi kerrottu, mutta olisiko kerrottu hiukan eri sanoin, jos tutkimuksen tekijä olisi ollut ulkopuolinen? Toimin myös sosiaalityöntekijän virassa, olin rivijäsen. Vastaajien ei tarvinnut ajatella, mitä tutkija toivoi heidän vastaavan. Jos tutkija olisi ollut esimerkiksi maakuntahallinnon ylimpiä virkamiehiä, tilanne olisi voinut olla toinen. Siitä, että olin tuttu ja tunsin tutkimani aiheen myös kokemuksellisesti, oli todennäköisesti tutkimuksen kannalta hyötyä: avoimia vastauksia tuli paljon, ja niissä pohdittiin monipuolisesti tutkimus-aluetta. Avoimet vastaukset lisäsivät tutkimuksen luotettavuutta ja nousivat tutki-muksessa hyvin keskeiseen osaan.

Eettiset kysymykset

Tutkimukseen vastaajat ovat maakunnallisia työtovereitani. Henkilötietolaki (523/1999) oli voimassa tutkimuksen tekoaikaan, ja se on säädetty toteuttamaan yk-sityiselämän suojaa sekä muita yksityisyyden suojaa turvaavia perusoikeuksia hen-kilötietoja käsiteltäessä sekä edistämään hyvän tietojenkäsittelytavan kehittämistä ja noudattamista (1 §). Henkilötietolaki 1999 on kumottu ja korvattu tietosuojalailla

1050/2018, joka astui voimaan 1.1.2019. Uuden lain voimaan astumisen jälkeen tutki-muksessani on yhdistetty ja siitä on poistettu joitain yksityiskohtia.

Henkilötietolain mukaan henkilötietoja sisältävät aineistot pitää hävittää heti, kun niiden käyttötarkoitus – tutkimus, jota varten aineistot on kerätty – on loppuun saa-tettu ja tutkimuksen oikeellisuus on tarkissaa-tettu (34 §). Tutkimuksessa ei ole kysytty henkilötietoja. Kyselyssä ei kysytty nimeä, ikää, osoitetta eikä edes sukupuolta.

Koska en pyytänyt vastaajia kertomaan nimeään, pyysin vastaajia lähettämään minulle alkukyselyssä sähköpostia, kun he olivat vastanneet kyselyyn, jotta tietäisin, ketkä olivat vastanneet. Kun tiesin, ketkä olivat vastanneet, oli mahdollisuus lähettää uusintakysely vastaamattomille. Vastaukset palautuivat minulle postin välityksellä.

Jotkut toimivat pyydetyllä tavalla, mutta monet lähettivät mukaan nimellisen saate-kirjeen. Seurantakyselyssäkään en kysynyt henkilötietoja, mutta koska lähetin kyselyn erissä, halusin tiedon, jolla saatoin yhdistää eri aikaan palautuvat kyselylomakkeet toisiinsa. Monet käyttivät koodina nimeään. Osa käytti keksimäänsä vastauskoodia.

Myös seurantakyselyssä halusin tiedot, ketkä olivat vastanneet, myös niiltä, jotka käyttivät koodia nimen sijasta, voidakseni lähettää uusintakyselyn vastaamattomille.

Sain kaikilta vastanneilta tiedon, kun he olivat vastanneet. Tiesin siis, ketkä olivat vastanneet, ja yhdessä taulukossa käytin tätä tietoa hyväksi. Siinä taulukossa vastaajat on vastaajien nimitietoa hyväksikäyttäen luokiteltu sukupuolen mukaan.

Alkukyselyn vastauslomakkeet on säilytetty, vaikka alkukyselyn aineistosta on tehty valmis tutkimus, ammatillinen lisensiaatintutkimus. Alkukyselyn saatekirjeessä kerrottiin, että tarkoitus oli tehdä myös seurantatutkimus.

Veikko Launiksen mukaan tiedeyhteisön toiminta perustuu paitsi voimassa ole-vaan lainsäädäntöön myös yleisesti hyväksyttyihin eettisiin periaatteisiin ja sosiaali-siin normeihin, jotka ovat itsenäisiä ja ylivertaisia suhteessa lainsäädäntöön (ks. Lau-nis 2007). Tutkimuseettisistä kysymyksistä tässä tutkimuksessa keskeinen eettinen tekijä on, miten pitää suhtautua tutkittavien tunnistamiseen. Tutkittavien tunnistami-nen tutkimusjulkaisussa on kriittitunnistami-nen tekijä niin tutkimuseettisesti kuin tietosuojankin kannalta (Kuula 2006, 207). Tutkimustietojen säilyttäminen voisi myös mahdollistaa tunnistettavuuden, jos niitä säilytetään paikassa, jossa niitä voi lukea muutkin kuin tutkija. Sekä alku- että seurantakyselyn tutkimusaineistoa on säilytetty kansioissa. Ne ovat kulkeneet mukanani Puolangalta Saarijärvelle ja Saarijärveltä takaisin Puolan-galle. Vastaukset eivät ole olleet kenenkään muun nähtävillä.

Tutkimusaineisto on pieni, ja aineisto on koottu kunnista, joissa ei ollut monta työntekijää. Maakunnallisissakaan tehtävissä joidenkin virkanimikkeiden takana ei ollut kuin yksi ainoa henkilö. Jos tutkimus olisi valmistunut hyvin pian kyselyjen te-kemisen jälkeen ja lukijana ollut jonkin Kainuun kunnan sosiaalityöntekijä, joka tunsi kaikki vastaajat, kuntakohtaisesti aineistoa tarkasteltaessa ainoastaan Kajaanin sosi-aalityöntekijät olisivat saattaneet piiloutua anonyymiteetin suojaan. Muiden kuntien sosiaalityöntekijöiden kohdalla tunnistamattomuus olisi ollut vaikeampaa – joissain tapauksissa täysin mahdotontakin. Tästä syystä tunnistettavuus estettiin siten, että sosiaalityöntekijöiden vastaukset lajiteltiin kuntien sijasta seuduille sekä esimiesten ja muiden maakunnallisissa tehtävissä toimivien vastaukset luokiteltiin ylikunnallisiksi vastauksiksi. Aika on myös tehnyt tehtävänsä ja auttanut anonymisoimaan vastaajia.

Todennäköisesti harvat vastaajista enää toimivat niissä tehtävissä, joissa he toimivat kyselyyn vastatessaan. Niidenkin määrä on vähentynyt, jotka muistavat edes joita-kuita, jotka olivat vastaamassa kyselyyn.

Avoimissa vastauksissa vastaajat kertovat joko itsestään tai muista vastaajista asioita, joista voi tunnistaa henkilöitä. Vastauksissa kerrottiin esimerkiksi, miten

maa kuntakokeilu oli muuttanut joissain viroissa olevien ammattinimikkeitä tai teh-täväkuvia. Muutokset eivät olleet henkilökohtaisia, vaan maakuntakokeilun aihe-uttamia. Ne kuvaavat sitä, mitä tutkin: maakuntakokeilun aiheuttamia muutoksia.

Tällaiset avoimet vastaukset näkyvät tuloksissa. En kuvaa ihmisiä, vaan muutosta.

Tässä tutkimuksessa ei kysytä henkilökohtaisia asioita, vaan sitä, miten Kainuun hallintokokeilu on vaikuttanut lastensuojeluun. Mielipiteitä mittaavat lomakeaineis-tot eivät ole samalla tavalla ongelmallisia kuin henkilökohtaisista asioista kertovat, ja ne tarvitsevat vähemmän anonymisointitoimia (ks. Kuula 2006, 213).