6. Tutkimuksen johtopäätökset ja pohdinta
6.2 Tutkimuksen luotettavuus
Tutkimustulosteni mukaan hoitohenkilöstö koki henkilöstölähtöisyyden voimakkaammin kuin tutkimushenkilöstö. Hoitohenkilöstö koki myös organisaatiolähtöisyyden voimakkaammin kuin lääkärihenkilöstö. Hoitohenkilöstön kokemukset viittaavat kohti suuntaa, jossa tasapainoa haetaan vakiinnuttavista käytännöistä, joihin liitetään toiminnan kehittämisen näkökulma. Väittämien perusteella orientaatio ohjaa valtuuttavaan, osallistumista ja vuorovaikutteisuutta korostavaan malliin. Täten koettu johtamisorientaatio vaihtelee ammattiryhmittäin.
Tutkimukseni avulla ei voi kuitenkaan osoittaa, että esimiehet pyrkisivät kehityskeskusteluissa korostamaan ammattiryhmittäin toisistaan eroavaa johtamisorientaatiota.
Lisäksi tulosteni perusteella johtamisorientaation kokemukseen vaikuttaa se, millä palvelujen alueella henkilö toimii. Sairaanhoidon palvelujen ja diagnostiikan alue erottautuu somaattisesta alueesta sikäli, että se kokee johtamisorientaation organisaatiolähtöiseksi. Tuloksen taustalla saattavat vaikuttaa toiminnan luonteeseen liittyvä systematiikka ja standardointitarpeet.
verrata. Taustamuuttujista palvelujen mukaista kattavuuden tarkastelua ei myöskään voi verrata viralliseen organisaatioon. Kyselylomakkeesta häivytettiin organisaation palvelualueita koskevat tiedot, ettei vastaajia voisi tunnistaa. Osallistujien valikoitumista vastaajiksi en kykene arvioimaan taustatietojen enkä aineiston keruun perusteella, mutta tutkimuksen kuluessa ei ole tullut esiin mitään syytä olettaa, että vastaajat olisivat olennaisesti erilainen joukko kuin koko kohdejoukko.
Työntekijöiden vastausprosentti oli 35 ja esimiesten 34. Se näyttää olevan normaalimäärä suurissa kokonaistutkimuksissa ja vastaa kirjekyselyssä saatavien vastausosuuksien (usein alle 60 %) tavanomaista määrää (Heikkilä 2005).
Työntekijöiden edustavuus aineistossa on kohdeorganisaation verrattuna kattava niin, että tilastollisten johtopäätösten teko on ollut mahdollista. Esimiesten vastauksista ei ollut perusteltua tehdä kaikkia samoja analyyseja kuin työntekijöiden vastauksista.
Vastauksissa käytettiin kyselyissä yleisesti sovellettua Likert-asteikkoa, jossa yhtenä vastausten vaihtoehtona oli "en osaa sanoa". Vastausten valtaosassa tämän vaihtoehdon määrät eivät olleet liian suuria. Muutaman väittämän kohdalla validiteetti ei ollut hyvä "en osaa sanoa"- vastausten suuren määrän vuoksi.
Tulkintani on, että taustalla saattaa olla aito osaamattomuus tai tietämättömyys kysytystä väittämästä (katso liite 5: vastaajien määrät kysymyksittäin ja väittämittäin). Toisaalta syynä saattavat olla esimerkiksi muistamattomuus keskustelutilanteesta (luku 5.7.1), tunnetila tai osallistumisen tapa (luku 5.7.4).
Lisäksi vastaajan vastaustilanne ja omat valinnat ovat voineet vaikuttaa siihen, kuinka tarkasti hän haluaa kertoa tilaisuudesta.
Tutkimuksen eksploratiiviseen tarkoitukseen sopivat kahden muuttujan väliset ja moniulotteiset ristiintaulukoinnit sekä eksploratiiviset faktorianalyysit. Näin olen voinut kartoittaa keskustelutilannetta ilmiöinä numeerisen tiedon pohjalta, jota esimerkiksi Heikkilä (2005, 16) korostaa kvantitatiivisessa tutkimuksessa. Vaikka käytin tutkimuksessa kokonaisaineistoa kohdeorganisaatiosta, analyyseissa sovelsin tilastollisia merkitsevyystestejä tehdäkseni oikeita johtopäätöksiä kartoituksen tuloksista. Raportoidessani olen esittänyt tutkimuskysymysten kannalta relevantit ja tilastotieteellisesti perustellut tulokset ja pyrkinyt välttämään ylitulkintoja.
Faktorianalyysi tehtiin eksploratiivisella menetelmällä, koska tutkimusasetelmassa ei ollut teoriataustaa konfirmatoriseen faktorianalyysiin. Faktoreiden selitysosuuksia voidaan pitää tyydyttävinä ja osin hyvinä. Lisäksi muuttujien kommunaliteetteja
voidaan pitää tyydyttävinä ja osin erittäin hyvinä (0,40–0,86 työntekijöiden aineistossa ja 0,35–0,95 esimiesten aineistossa).2
Varimax-rotaatiomentelmällä varmistettiin, etteivät faktorit korreloi keskenään.
Lisäksi eksploratiivisessa tarkoituksessa analysoidut faktorit olivat tulkittavissa ja nimettävissä sisältönsä ja kirjallisuuden perusteella järkevästi.
Kirjallisuudessa esitetään, että tutkimuksen reliabiliteettia tulisi arvioida analysoinnissa käytettyjen muuttujien tarkkuutta vasten. Lisäksi reliabiliteettia arvioidaan kykynä mitata selvitettävänä olevia tutkimusongelmia (Heikkilä 2005, 30, Holopainen & Pulkkinen 1995, 12). Tutkimuskohteena oli yhden ison organisaation henkilöstö. Kohdeorganisaatiossa strategian sovelluksessa on käytössä julkisissa organisaatioissa varsin yleisesti käytetty BSC. Kohdeorganisaation ohjeet kehityskeskustelujen käymisestä ovat perustuneet kehityskeskustelukirjallisuudessa esitettyihin näkemyksiin eivätkä suorituksen arviointiin, johon kehityskeskustelut usein yhdistetään. Tuloksia voidaan hyödyntää erikoissairaanhoidossa laajemminkin, mutta heikommin terveydenhuollossa yleisesti. Gobon (2004) mukaan laadullisten tutkimustulosten kuvaus on yleistettävissä muihinkin vastaaviin organisaatioihin, jos roolit ja kompetenssit tilanteeseen nähden ovat samankaltaiset ja ammattihenkilöstön rooli on samanlainen. Yleistettävyys koskee siten kehityskeskustelun kuvausta siltä osin, mitä keskustelussa voi tapahtua. Oleellista yleistettävyydessä on vastaajien kokemus ja sitä koskeva vertailu (vertaa Gobo 2004, 452–453). Tulosten tulkinnassa on varottu tekemästä sellaisia yleistyksiä, joihin aineiston pohjalta ei ole edellytyksiä.
Kyselylomakkeen validiteettia tutkimusmenetelmänä olen eritellyt tutkimuskysymyksittäin. Yleensä validiteettia pidetään hyvänä, jos menetelmä mittaa niitä asioita, joita sen on tarkoitus selvittää (Heikkilä 2005, 14, Eskola 1996, 85). Tutkimusasetelman johdosta aiemmin testattuja väittämiä ei ollut juurikaan saatavilla. Siten ulkoinen validiteetti on melko vähäinen. Ulkoista validiteettia vahvistavat samansuuntaiset tutkimustulokset, joita on kirjallisuudessa esitetty keskustelun palautteesta ja keskustelun laadusta. Jos tuloksista halutaan tehdä syvällisempiä johtopäätöksiä, se edellyttää tutkimuksen uusintaa tai muita jatkotutkimuksia. Kyselylomake perustui kohdeorganisaation strategiaan,
2 www.fsd.uta.fi/menetelmaopetus/faktori
kehityskeskusteluja koskevaan kirjallisuuteen ja osin johtamiskirjallisuuteen.
Kyselylomakkeen laadinta on selvitetty alaluvussa 4.3.
Kyselyllä selvitettiin kehityskeskustelujen vakiintumista. Vastausten analysointi ja tulkinta eivät tuottaneet ongelmia. Strategian tavoitteita koskevien väittämien muodostamisessa oli oleellista se, kykenikö vastaaja niiden perusteella abstrahoimaan omaa työtään. Kyselylomaketta testattaessa ei saatu palautetta keskustelun sisältöä koskevista väittämistä. Pohdintani strategiaväittämien muodostamisen puutteista liittyi johtamisfoorumeita koskeviin vastauksiin, joissa työntekijät yhdistivät asiakkuusnäkökulman ensisijaisesti esimerkiksi raportointitilanteisiin. Tulosten tulkinnassa oli epäselvää, tarkoittivatko vastaajat yksittäisten potilaiden tarpeita vai hoitotarpeisiin liittyviä yksikön strategiapainotuksia. Muiden BSC:tä koskevien väittämien osalta tulkintaan liittyvää epävarmuutta ei tullut esille.
Katoon liittyviä riskitekijöitä kyselylomakkeessa oli eniten selvittäessäni foorumeita, joilla käsitellään strategian tavoitteita. Vastaajille tämä kyselyosuus oli työläs ja joillekin täyttöohjeet olivat epäselvät. Huoltohenkilöstön vastaajien määrä oli pari prosenttia pienempi ja vastaavasti hoitohenkilöstön suurempi verrattuna kohdejoukkoon. Vastauskato kohdejoukosta ei ollut kuitenkaan niin suuri, että tilastollisten analyysien ja johtopäätösten tekeminen olisi ollut mahdotonta.
Keskustelufoorumien selvittämisen yhteydessä tuloksia ei analysoitu ammattiryhmittäin tai palveluittain.
Keskustelun laatua selvitettiin kirjallisuudessa esitetyistä kuvauksista muodostetuilla ja osin aiemmin käytetyillä kysymyksillä (luku 4.3). Keskustelun laadun kuvausta täydensi avokysymysten vastauksista tehty sisällön analyysi. Sen tulosten perusteella strukturoiduilla kysymyksillä ei kyetty selvittämään keskustelun laatuun liittyviä ongelmia eritellysti.
Newman (2001) on tarkoittanut johtamisorientaation selvittämiseen esittämänsä mallin alun perin teoreettiseen tarkasteluun, eikä sovellusta empiiriseen tutkimukseen ole tiettävästi aiemmin käytetty. Tutkimuksella ei selvinnyt, onko Newmanin (2001) sovellus onnistunut empiirisen tutkimuksen lähtökohta. Mallin soveltaminen empiriaan olisi selkeä jatkotutkimusaihe.
Kuvailevan tutkimuksen luotettavuutta arvioidaan myös tutkimusmenetelmän tarkkuuden avulla (Heikkilä 2005, 14). Kyselytutkimus soveltuu kuvailevan tutkimuksen menetelmäksi, kun tarkoituksena on mitata kehityskeskustelutilanteesta
saatua kokemusta. Tulosten raportoinnissa on korostettu vastaajien kokemusta, joka on kuvaus tilanteesta ja tapahtumista. Lisäksi avokysymyksiin annetut vastaukset ovat auttaneet tekemään tulkintoja keskustelun laadusta ja keskustelijoille tilanteessa tärkeistä asioista. Tulosluvuissa ja tuloksia koskevissa johtopäätöksissä (luku 6.1) on tuotu esiin kyselylomakkeeseen ja siihen vastaamiseen liittyneitä ongelmia, jotta ei tehtäisi perusteettomia ja varomattomia johtopäätöksiä.
Avokysymysten vastauksista tehtiin sisällön analyysi siltä osin kuin vastaukset täydensivät strukturoitujen kysymysten vastauksia. Sisällön analyysissa lähestymistapa oli induktiivinen. Sisällön analyysi tehtiin keskustelun laatua ja keskusteluaiheiden tärkeyttä koskevista vastauksista, vaikka kaikki muutkin vastaukset olivat analyysissa mukana. Aineistoa oli riittävästi, jopa liiankin runsaasti. Analyysissa saavutettiin kylläisyyspiste aineiston määrän suhteen. Dataa koskevassa tulkinnassa noudatettiin tutkimuksen lähtökohtaa ja avokysymysten yhteyttä tutkimusongelmaan, jota eri menetelmillä kerätyn datan yhteydessä pidetään kriittisenä (esimerkiksi Brannen 2004, 314). Sisällön analyysissa lähestyttiin vastauksia ottamalla huomioon konteksti, josta niissä kerrottiin.
Analyysissa perehdyttiin koko aineistoon, jotta kaikki oleellinen olisi esillä tuloksissa (esimerkiksi Seale 2004, 413–414.) Lisäksi analyysin vaiheita ohjasi sen toistettavuus. Ulkoisen validiteetin arviointi on hankalaa, koska vertailua aikaisempaan tutkimuskirjallisuuteen ei ole juurikaan tehtävissä. Kvantitatiivisen analyysin täydentämiseen ja tulosten tulkintaan kvalitatiivinen sisällön analyysi soveltui hyvin.
Kyselytutkimus menetelmänä oli sopivan etäinen tutkijalle, joka on myös saman organisaation työntekijä. Eskola (1973, 19) korostaa, että tilastollisten menetelmien analysoinnin ja sisällön analyysin avoimuudella tutkija voi korostaa puolueettomuuttaan. Tämän perusteella olen esittänyt tutkimuksen menetelmän ja analyysien soveltuvuuden tutkimusasetelmaan nähden. Tulokset antavat vastauksia tutkimusongelmaan, vaikkakaan eivät tyhjentävästi tai täydellisesti.
Tulosten vertailu aikaisempiin tutkimuksiin validiteetin arvioimiseksi on hankalaa ja jopa mahdotonta. Aikaisemmat kehityskeskustelututkimukset on suurimmaksi osaksi tehty organisaatioissa, joissa on olemassa suorituksen arviointi järjestelmänä ja kulttuurina. Muutamat suomalaiseen työkulttuuriin perustuvat kehityskeskustelututkimukset ovat viitekehykseltään ja menetelmiltään niin erilaiset, ettei vertailua ole juurikaan tehtävissä (esimerkiksi Berlin 2008, Wink 2007,
Rajaneva 2002). Tulosten pohdinnan yhteydessä (luku 6.3) on vertailua aiempiin tutkimuksiin tehty varovaisesti, jotta ei syntyisi ylitulkintoja.