Luotettavuus mittaamisessa

Mittarin kehittämisprosessin kuvaaminen johdonmukaisesti ja ymmärrettä-västi on mittaamisen luotettavuuden ensimmäinen ehto. Kehittämisproses-sin ja kokeilujen jälkeen on vuorossa mittarin validiteetin ja reliabiliteetin testaaminen. Validiteetti ilmaisee mittarin kykyä mitata sitä, mitä mittari on tarkoitettu mittaamaan. (esim. Burns & Grove 1995, Polit & Hungler 1995, Paunonen & Vehviläinen-Julkunen 1997.) Tavallisimmat validiteetin lajit ovat sisällön validiteetti, käsitevaliditeetti ja kriteerivaliditeetti. Käsitevali-diteettia kutsutaan myös rakenne- tai teoreettiseksi validiteetiksi. Validi-teetti voidaan jakaa myös teoreettiseen eli loogiseen ja empiiriseen eli tilas-tolliseen validiteettiin. (Nunnally 1978, Burns & Grove 1995.) Sisällön va-liditeetti ja käsitevava-liditeetti ovat teoreettisia validiteetteja. Kriteerivalidi-teetti (samanaikais- ja ennustevalidiKriteerivalidi-teetti) on empiirinen validiKriteerivalidi-teetti.

Sisällön validiteettia voidaan tarkastella koko mittarin ja osion tasolla.

Sisällön validiteetti on kriteerimittarin tärkein validiteetti ja edellytys muil-le validiteeteilmuil-le. Koko mittarin sisällön validiteetti ilmaisee, miten hyvin mittarin osiot edustavat mitattavaa tavoite- ja sisältöaluetta ja ovatko osiot riittävä otos sisältöalueesta. Osiotasolla sisällön validiteetti ilmaisee, mihin asti kukin osio mittaa sitä tavoite- tai sisältöaluetta, jota sen on tarkoitettu mittaavan. Keskeisenä arviointikohteena kuten terveysmuotokuvamittarissa pidetään myös mittarin sisällön tärkeyttä ja merkityksellisyyttä eli sitä, mit-taako mittari kohteen kannalta tärkeitä asioita. Usein sovellettu validiteetin arviointitapa on näennäisvaliditeetti (face-validity). Näennäisvaliditeetti on tutkijan subjektiivinen arvio siitä, mitä mittarin sanotaan mittaavan. (vrt.

Waltz et al. 1991, Polit & Hungler 1995, Paunonen & Vehviläinen-Julkunen 1997.)

Mittarin sisällön validiteettia voidaan tutkia mm. käyttämällä asiantunti-joita ja empiiristä lähestymistapaa. Asiantuntijat arvioivat, mittaako osio tavoitteita. Tässä he käyttävät kolmiportaista asteikkoa: mittaa varmasti, mittaa epävarmasti ja ei mittaa lainkaan tavoitetta. Toisessa menetelmässä asiantuntijat arvioivat Likert-asteikolla, kuinka sopivia osiot ovat mittaa-maan tiettyä tavoitetta: ei relevantti (1), vähän relevantti (2), melko rele-vantti (3), relerele-vantti (4). Kolmannessa menetelmässä asiantuntijoita pyyde-tään yhdistämään osiolistassa esitetyt osiot tavoitelistassa esitettyihin ta-voitteisiin. (Popham 1978, Waltz et al. 1991.)

Käsitevaliditeetti ilmoittaa laajuuden, jolla mittari mittaa sitä käsitettä tai piirrettä, jota sen on tarkoitus mitata (Burns & Grove 1995). Se yhdistää mittarin ja sen teoreettisen taustan selvittämällä mittarin käsitteelliset yh-teydet. Käsitevaliditeetissa testataan mittarin käsitteen ja sen operationaali-sen vastinparin suhteita käytännössä. Käsitevaliditeetti on teoreettioperationaali-sen vali-diteetin muoto ja se vastaa kaikkein suorimmin kysymykseen, mitä mitta-välineellä todella mitataan. Mittarin käsitevaliditeetin arviointikeinoja on useita: käsiteanalyysi, faktorianalyysi, tunnettujen ryhmien tekniikka, rin-nakkaismittaus samaa, vastakkaista tai lähikäsitettä mittaavalla mittarilla, mittaustuloksen teoreettisten yhteyksien tarkastelu (hypoteesien testaami-nen) ja toisten tutkijoiden tekemä arvio. Mittarin sisäistä johdonmukaisuut-ta kuvaava kerroin tukee myös käsitevaliditeettia. Käsitevaliditeetin arvi-oinnissa käytetään enenevästi korrelaatioihin perustuvia menetelmiä. Kätevaliditeetti sopii hyvin abstraktien käsitteiden mittaukseen. Käsitteen si-sältö analysoidaan ja sille etsitään operationaaliset vastineet. Tällaista mit-tausta kutsutaan epäsuoraksi mittaukseksi. Epäsuoran mittaamisen virheitä ovat käsitteen mittaaminen osittain tai mittaamiseen sisältyy muutakin kuin tarkoitettu käsite. Epäsuorassa mittaamisessa voi käydä myös niin, että ei tunnisteta mittaamisen kohdetta eikä valittua mittaria. (vrt. Brink & Wood 1990, Burns & Grove 1995, Paunonen & Vehviläinen-Julkunen 1997.) Mittarin reliabiliteetti ilmoittaa, miten tarkasti, johdonmukaisesti ja yh-denmukaisesti mittari mittaa mielenkiinnon kohdetta. Mittauksen reliabili-teetti voidaan määritellä havaitun varianssin ja todellisten arvojen varians-sin suhteena. (Burns & Grove 1995.) Mitä vähemmän mittauksissa on sat-tumanvaraisuutta, sitä korkeampi on reliabiliteetti. Mittarin reliabiliteetti osoittaa, kuinka paljon mittarissa on satunnaisvirhettä, joka muuttuu ha-vainnosta toiseen ja ajan kuluessa samassa havaintoyksikössä. Reliabiliteetissa on kysymys luotettavuuden asteesta mieluummin kuin joko tai -suhteesta. Reliabiliteetti on mittarin ominaisuus, kun sitä käytetään tiettyyn joukkoon tietyissä olosuhteissa. Mitä samankaltaisempi alkuperäinen ryh-mä ja uusi kohderyhryh-mä ovat, sitä todennäköisemmin mittari toimii luotet-tavasti uudessa tilanteessa. Reliabiliteetti raportoidaan useimmiten

korre-laatiokertoimena. Siinä verrataan kahta vertailukelpoista, mutta loogisesti toisistaan riippumatonta mittaustulosta toisiinsa. Mitä yhdenmukaisempi mittaustulos on, sitä pienempi on sattumanvaraisuus ja sitä suurempi re-liabiliteetti. Teoreettisesti korrelaatiokerroin voi olla -1.00 - 1.00, mutta tavallisesti mittauksen korrelaatio on välillä 0 - 1.00. Mitä lähempänä kor-relaatiokerroin on plus yhtä (+ 1), sitä luotettavampi mittaväline on. (esim.

Waltz et al. 1991, Polit & Hungler 1995, Erätuuli ym. 1994.)

Mittarin sisäinen johdonmukaisuus on usein käytetty reliabiliteetin muoto. Sen oletuksena on, että tutkittavalle piirteelle relevantit osiot yhdes-sä tuottavat yhdistelmäpistemäärän, joka on lähellä tutkittavan kohteen to-dellista virheetöntä pistemäärää. Mittaväline on sisäisesti johdonmukainen, kun kaikki sen osiot mittaavat samaa tutkittavaa piirrettä. Johdonmukai-suuden osoittamisessa käytetään usein Gronbachin alpha -kerrointa. (Polit

& Hungler 1995, Erätuuli ym. 1994.)

Reliabiliteetti voidaan ilmoittaa myös mittausten vastaavuutena, joka tarkoittaa sitä, miten hyvin toinen henkilö saa mittavälineellä samoja tulok-sia. Vastaavuuden arviointi painottaa instrumentin herkkyyttä (sensitiivi-syys) ulkopuolisille tekijöille eri mittauskerroilla. Mittarin sensitiivisyys tarkoittaa sen kykyä erotella tarkasti pieniä eroja (erottelukyky). Sensitiivi-syyttä pidetään mittarin tärkeänä ominaisuutena. Arviointiasteikon laajen-taminen lisää herkkyyttä. Herkkyyttä lisättäessä voidaan myös kadottaa erottelukykyä. Jokaisen mittavälineen tulee olla tarkoituksenmukainen, jot-ta se tuotjot-taisi valideja tuloksia. Tarkoituksenmukaisuus ymmärretään usein mittavälineen luettavuutena sekä kielen ja kysymysten kulttuurisena sopi-vuutena kohderyhmään. (vrt. Polit & Hungler 1995, Paunonen & Vehviläi-nen-Julkunen 1997.)

Terveysmuotokuvamittarin perusteiden luotettavuuden varmistamiseksi määrittelen ja arvioin mahdollisimman tarkasti mittauksen kohteen, kuvaan mittauskohteen teoreettiset perusteet sekä otan huomioon nuorten erityis-piirteet kohderyhmänä. Mittarin käyttöön liittyvän mittausmenetelmän ke-hittäminen ja mittaustulosten arviointiperusteiden määrittämisen kuvaan vaiheittain. Näin pyrin sovellettua validiteetin arviointitapaa (face-validity) käyttäen mahdollisimman korkeaan sisällön validiteettiin. Lopuksi arvioin mittarin sisällön tärkeyttä ja merkityksellisyyttä eri osapuolien, nuorten ja perheiden, kouluyhteisön ja kouluterveydenhuollon näkökulmasta.