Tutkimuksen luotettavuutta arvioitiin sekä tutkimuksen luotettavuutena että mittarin luotettavuutena. Tutkimuksen validiteetin arvioinnissa on kyse siitä, miten täsmällisesti käsitteet on pystytty operationalistamaan muuttujiksi (DeVon ym. 2007, Burns & Grove 2011). Tämä tarkoittaa arvostavan johtamisen tutkimuksessa koko tutkimusprosessin validiteetin arviointia, sillä tarkoitus on operationalistaa käsiteanalyysilla, kirjallisuuskatsauksella ja delfoi-tutkimuksella tuotetut käsitteet kvantitatiivisen tutkimuksen mittarin muuttujiksi. Arvostavan johtamisen tutkimuksen reabiliteettia arvioitiin koko tutkimuksen osalta.
Kirjallisuuskatsauksen luotettavuutta arvioitaessa kiinnitettiin huomio tutkimusartikkeleiden hakukuvaukseen, valintaan, arviointiin ja tutkimusartikkeleista tehdyn synteesin läpinäkyvvyyteen (Parahoo 2006). Kirjallisuuskatsaus arvostavaan johtamiseen tehtiin 20 empiirisestä tutkimusartikkelista, jotka haettiin Eric-, Cinahl-Psychinfo- ja PubMed- tietokannoista, koska niistä oletettiin saatavan tutkimuskysymysten kannalta oleellista tietoa. (Cook ym. 1997.) Tutkimuskysymykset määrittivät tietokantojen lisäksi myös tutkimusten sisäänottokriteerejä, sillä artikkeleita valitessa tutkimuskysymykset ohjasivat valintaprosessia (Khan ym. 2003). Arvostavan johtamisen kirjallisuuskatsauksessa artikkelien valintavaiheessa jätettiin tilaa myös avoimuudelle ja joustavuudelle. Näin tutkija saattoi perehtyä hieman aihetta sivuavaankin tutkimukseen sillä perusteella, että siitä saattaisi löytyä uutta tietoa, koska kyseessä oli aikaisemmin vähän hoitotieteessä tutkittu ilmiö (Swenson 1996). Arvostavan johtamisen kirjallisuuskatsauksen (Artikkeli 1) artikkeleiden valinta perustui edellä mainittujen seikkojen lisäksi face-validiteettiin (Grant-Davis 1997). Face-validiteettia voidaan pitää sekä vahvuutena että heikkoutena, kuten myös sitä, että artikkelien etsintätyön ja valinnan teki yksi tutkija, vaikka valinnan vahvisti kaksi asiantuntijaa. (Artikkeli 1.) Näitä heikkouksia vähennettiin kuvaamalla hakuprofiili ja poissulkukriteerit tarkasti (Khan ym. 2003). Tutkimukset analysoitiin sisällön analyysilla, joka sopii hyvin tutkimusmenetelmäksi hoitotieteelliselle laadulliselle aineistolle sillä edellytyksellä, että työ tehdään huolellisesti (Elo & Kyngäs 2008). Kirjallisuuskatsaukseen
hyväksyttyjen artikkeleiden hyväksymisprosessi esitettiin vaiheittain kuviona (Artikkeli 1), mikä lisäsi uskottavuutta (Kylmä & Juvakka 2007.)
Delfoi-tutkimuksessa nuorten henkilöiden valinta osallistujiksi oli oikeaan osunut tutkimuksen tulevaisuussuuntautuneisuuden takia (Morse 1994).
Asiantuntijapanelisteista osa oli maahanmuuttajia tai maahanmuuttajataustaisia henkilöitä ja osa kantaväestöön kuuluvia tutkimusasetelman mukaisesti. Osallistujien vaikeuksia ymmärtää tehtävänantoa ei tullut tutkijan tietoon. Kulttuuriset erot näkyivät kirjoituksissa pieninä kirjoitusvirheinä, mutta ne eivät vaikuttaneet aineiston luotettavuuteen, koska kieli oli ymmärrettävää eikä yhtään kirjoitusta hylätty kielen takia. (Ferketich ym. 1993.) Maahanmuuttajataustaisten opiskelijoiden hyvä suomen kielen taito perustui siihen, että he olivat opiskelleet suomea lukiossa toisena kotimaisena kielenä (Opetus- ja kulttuuriministeriö 2003). Maahanmuuttajahoitajista esseen kirjoitti vain kuusi, mikä voi selittyä sillä, että he eivät tunteneet osaavansa kirjoittaa suomen kieltä riittävän hyvin tai he eivät luottaneet tutkimusmateriaalin salassa pysymiseen ja siitä syystä pelkäsivät kirjoittaa aiheesta. (Morse 1994) Laadullisessa aineistossa osallistujien määrä ei kuitenkaan ole ratkaiseva, vaan heidän tuottamansa monipuolinen tieto (Chaiklin 2000). Kirjoittaminen on todettu ulkomaalaisille hoitajille vaikeaksi esimerkiksi hoitotyön raporttien kirjoittamisessa (Aalto ym. 2013), mutta myös kantaväestöön kuuluvien hoitajien on havaittu kirjoittavan vähän esseitä tutkimuksissa. Kaiken kaikkiaan esseekirjoituksista tuli monipuolinen ja kattava kuvaus nuorten käsityksistä tulevaisuuden johtamisesta (Artikkeli 2).
Esseiden kirjoittaminen aineiston keruumenetelmänä onnistui osallistujien saamisen osalta hyvin lukioissa, sillä aineisto kerättiin oppitunnilla ja hyväksyttiin yhdeksi äidinkielen tai suomi toisena kielenä -opintojakson opintosuoritukseksi eikä opiskelijoiden tarvinnut käyttää kirjoittamiseen omaa vapaa-aikaa. Terveydenhuollon organisaatioissa tutkimukseen ei saanut osallistua työajalla, mikä saattoi vähentää osallistumishalukkuutta. Yhdyshenkilöinä olleiden osastonhoitajien (n=70) kanssa käydyissä puhelinkeskusteluissa selvisi, että hoitajien vähäiseen osallistujamäärään saattoivat vaikuttaa myös työhön liittyvät tekijät. Niitä olivat esimerkiksi työsuhteen yllättävä päättyminen hoitajan omaan päätökseen perustuvan työstä lähdön takia, hoitotyön tutkinnon puuttuminen, vaikka tätä edellytettiin, maahanmuuttajahoitajien epävarmuus kirjoittaa suomeksi ja tutkittavan aiheen vieraus. Nämä asiat olivat luonteeltaan sellaisia, että tutkija ei voinut niihin varautua.
Esseet analysoitiin sisällön analyysillä (Kylmä & Juvakka 2007, Elo & Kyngäs 2008). Tutkimuksen sisällönanalyysin tuottama luokitus validoitiin hoitotieteen professoreiden ja hoitotieteen tohtoriopiskelijoiden asiantuntijapaneelissa (n=8)
kertaalleen analysointiprosessin aikana. Sisällön analyysia ja luokkien nimeämistä tarkennettiin asiantuntijapaneelin näkemysten perusteella, mikä lisäsi tutkimuksen uskottavuutta, johdonmukaisuutta ja luotettavuutta. Monikulttuurisuuden ilmiöiden tunnistamisessa ja kuvaamisessa käytettiin apuna kulttuurienvälisen vuorovaikutuksen asiantuntijaa, mikä lisäsi analyysin tulkinnan luotettavuutta.
(Ferketich ym. 1993, Parahoo 2006.) (Artikkeli 2.)
Esseistä muodostettiin muuttujia mittarin kehittämistä varten. Taustalla olevan teoreettisen tietämyksen avulla muuttujia pyrittiin vähentämään konfirmatorisella faktorianalyysilla, jotta mittari olisi rakenteeltaan mahdollisimman yksinkertainen (Watson & Thompson 2006). Konfirmatorista faktorianalyysiä tehdessä selvisi, että vastaajia on liian vähän muuttujiin nähden eikä tulokseen voinut siksi täysin luottaa (Jokivuori 2007). Tulosta voitiin kuitenkin pitää suuntaa antavana ohjeena muuttujien ryhmittelylle. Myös muuttujien kommunaliteettiarvoja katsottiin, mutta ne eivät helpottaneet valintaa, koska niissä ei ollut suuria eroja. Muuttujien valinnassa edettiin keskiarvoanalyysien perusteella ja tutkijan face-validiteetin perusteella.
(Grant-Davis 1997.)
Delfoi-tutkimuksessa oli mukana eri kulttuureista tulleita osallistujia, mutta heidän välillään ei iteraatiokierroksilla ollut havaittavissa tehtävänannon ymmärtämiseen liittyviä eroja, sillä lomakkeissa ei ollut enempää puuttuvia tietoja kuin kantaväestölläkään. Laaditun mittarin validointiin osallistuivat terveystieteiden tohtoriopiskelijoiden seminaarin osallistujat (n=8). He olivat asiantuntijapanelisteiksi sopivia ammatillisen ja tieteellisen koulutuksensa sekä terveydenhuollon työkokemuksensa takia. (Grant & Davis 1997.)
Esitestauksessa kerätyn aineiston sisäistä johdonmukaisuutta arvioitiin Cronbachin alfojen avulla, sillä Chronbachin alfa-arvot ja kommunaliteettiluvut ohjasivat arviota muuttujien yhteenkuuluvuudesta ja teoriaan kuulumattomien muuttujien poistamisessa. (Grant-Davis 1997). Esitestatun henkilökuntamittarin ja johtajamittarin Cronbachin alfa-arvot olivat hyvät. Ne olivat koko henkilökuntamittarissa 0,983 ja pääluokissa 0,931–0,962. Johtajamittarin koko mittarin Cronbachin arvo oli 0,964 ja pääluokissa 0,884–0,935. Cronbachin alfa-arvojen perusteella ei mittaria tarvinnut muuttaa. Kolme muuttujaa poistettiin teoriatiedon perusteella, matalien keskiarvojen takia tai siksi että ne eivät olleet sisällöllisesti relevantteja.
Kyselytutkimuksen (Vaihe II) aineisto kerättiin sähköpostitse terveydenhuollossa työskentelevältä henkilökunnalta (n = 2 671) sekä heidän johtajiltaan (n=426) eri puolilta Suomea. Aineisto kerättiin pääosin organisaatioiden yhteyshenkilöiden avulla, joilla oli mahdollisuus kysyä ohjeita tutkijalta heitä mahdollisesti
askarruttavista asioista. Kyselyyn oli vastannut kaiken kaikkiaan 2 681 henkilökuntavastaajaa ja 450 johtajavastaajaa. Aineistosta poistettiin vastaajat, jotka olivat vastanneet vain taustatietoihin tai olivat selvästi saaneet väärän lomakkeen vastattavakseen (henkilökunnan edustajalla oli johtajan lomake ja päinvastoin).
Kyselyn vastausprosentit jäivät mataliksi (henkilökunnalla 29 % ja johtajilla 34 %, tosin prosentti oli samaa tasoa kuin muissakin sähköpostikyselyissä). (Hamilton 2009.) Katoanalyysia suositellaan tehtäväksi, mutta tässä kyselytutkimuksessa sitä ei tehty, koska tutkimuksessa käytettiin yhdyshenkilöitä eikä tutkija tiennyt täsmällisesti, ketkä vastaajat olivat kyselyn saaneet. Tästä syystä kaikkia mahdollisia vastaajia muistutettiin kerran. Tutkimuksen analyysissa todettiin, että suuri osa henkilökuntakyselyn tuloksista oli yleistettävissä perusjoukkoon p-arvon perusteella.
Johtaja-aineisto oli pienehkö, eikä yleistettävyyttä ollut niin laajasti kuin henkilökunta-aineistossa. (Burns & Grove 2011.)
Kun vastaajamääriä tarkastellaan suhteessa kuntatyössä olevien hoitohenkilökuntamääriin, näyttää siltä, että kyselyyn vastanneiden määriä voidaan pitää hyvinä ja samansuuntaisina kuntatyössä olevien keski-iän ja ikärakenteen työntekijöiden ja johtajien kanssa. Arvostavan johtamisen kyselyyn vastanneen henkilökunnan keski-ikä oli 43,7 vuotta. Alle 35-vuotiaita ja sitä nuorempia vastaajia oli 26 % (n = 672). 50-vuotiaita ja sitä vanhempia oli 35 % vastaajista (n = 906).
Johtajavastaajien keski-ikä oli 50,8 vuotta. 35-vuotiaita ja sitä nuorempia johtajia oli 3 % (n = 11). Yli 50-vuotiaita oli 60 % (n = 248) vastaajista. Kuntatyönantajien tilaston (2013) mukaan terveydenhuollon hoitohenkilöstön keski-ikä on 44,3 vuotta.
16 prosenttia terveydenhuollon hoitohenkilöstöstä on alle 30-vuotiaita, ja 36 prosenttia on yli 50-vuotiaita. (Kuntatyönantajat 2013.) Suomen lääkäriliiton mukaan sairaalalääkäreiden keski-ikä vuonna 2013 oli 44 vuotta. Alle 34-vuotiaita lääkäreitä oli kyseisenä vuonna 18 % ja yli 55 vuotiaita 22 % (Suomen lääkäriliitto 2014).
Sairaaloiden johtajaylilääkäreiden, ylilääkäreiden ja apulaisylilääkäreiden keski-ikä oli 52 vuotta (Suomen lääkäriliitto 2013).