...koska kiistanalaisista yhteiskunnallisista kysymyksistä on useita erilaisia usko-muksia. Kuka tietää mikä niistä on oikein?...
Tietenkin arviointitutkijan tulee asianmukaisesti tuoda esille eri intressiryhmien tärkeitä arvoja, kriteerejä, etuja ja näkökantoja. ...
Riittääkö se, että erilaisia näkökulmia tuodaan esille ilman, että niitä punnitaan tai painotetaan mitenkään keskenään, ilman että arvioija tekee arvottavia johto-päätöksiä? (House 1995, 29–30.)
Edellä esitetty kysymys johdattelee arvottamisen ongelman ja myös tämän tutkimuksen yhden ydinkysymyksen äärelle: Tuleeko arvioijan esittää arvioidus-ta kohteesarvioidus-ta arvotarvioidus-tavia johtopäätöksiä ja mihin arvotarvioidus-taminen silloin perustuu?
Arviointi-sanana viittaa ilmiöiden ja toiminnan arvottamiseen. Arvottaminen siis sisältyy arvioinnin käsitteeseen sen peruselementtinä. Arvioinnin määrittä-minen arvottamiseksi sisältää normatiivisen ulottuvuuden, joka erottaa sen muis-ta toiminnoismuis-ta, esimerkiksi mitmuis-taamisesmuis-ta ja tesmuis-taamisesmuis-ta. Tässä tutkimuksessa tarkoitan arvioinnilla arvottamista.
Arvo on suhdekäsite, joka määrittelee tiettyä järjestystä. Arvottamisessa teh-dään joihinkin kriteereihin perustuen päätelmiä kohteen hyödystä ja ansioista (merit), sen arvosta (worth) sekä merkittävyydestä (significance). Arvioinnissa voidaan esimerkiksi todeta, että ilmiö tai toiminta x on hyvin ja laadukkaasti toteutettua, mielekästä, onnistunutta ja tarkoituksenmukaista. Tämä arvioinnin merit-näkökulma edustaa itsearvoista eli kohteen omista kriteereistä ja lähtökoh-dista lähtevää sisäistä tarkastelua. Arvioinnissa voidaan myös päätyä esimerkiksi loppupäätelmään siitä, että ilmiö tai toiminta x on tärkeää, oikeutettua ja perus-teltua. Näissä arvioinnin significance ja worth -näkökulmissa on kysymys koh-teen ulkoisemman arvon määrittämisestä. (Raivola 1995, 34; Scriven 1998, 64;
ks. myös Heinonen 2001, 21.)
Arvottaminen sijoittuu pohjimmiltaan aksiologian eli arvofilosofian piiriin (Raivola 1995, 23). Arvot ilmentävät intressejä, jotka eri ihmisillä ja ryhmillä voivat olla erilaisia. Arvot eivät välttämättä ole pysyviä sillä eri elämäntilanteissa tai erilaisissa institutionaalisissa rooleissa (vrt. tämän tutkimuksen sidosryhmät) meillä voi olla erilaisia tarpeita ja intressejä ja saatamme painottaa siksi myös erilaisia arvoja. Kulloisetkin arvomme ja päämäärämme ovat siis sidoksissa val-litseviin olosuhteisiin ja tilanteeseen. (Ks. myös Heinonen 2001, 27.)
Arvottamisessa on kysymys myös arvioinnin logiikasta. Arvioinnin logiikalla tarkoitetaan arvioijan omaa toimintaansa koskevaa itseymmärrystä eli toisin sa-noen sitä, miten hän ymmärtää sen, mitä on tekemässä arvioidessaan tiettyä kohdetta. Arvioinnin logiikka liittyy siis todellisuuden, tiedon ja tietämisen luon-netta koskeviin käsityksiin sekä arvottamisen perusteita koskeviin kysymyksiin.
Arvottamiseen liittyy sekä arvojen että arvottamisen funktion eli arvioinnin tar-koituksen ja päämäärien pohdintaa. Arvottamisen perusteilla tarkoitetaan niitä
ratkaisuja ja kriteerejä, joilla arvioija päätyy kohdetta koskeviin johtopäätöksiin.
(Ks. myös Heinonen 2001, 27.)
Arvioinnin yleinen logiikka edustaa rationaalista ajattelua. Arvioija ei yksin-kertaisesti arvioi mitään, mikäli hän ei päädy erilaisista arvoista johtamiensa kriteerien ja/tai standardien perusteella arvottaviin johtopäätöksiin kohteen hyö-dystä, ansioista, arvosta ja merkittävyydestä. Arvioija ei siis itse aseta arvioinnin kriteerejä ja standardeja, vaan valitsee ne muiden esittämien arvojen perusteella.
Arvioija ei myöskään pidä minkään ryhmän arvoja parempina kuin toisten ryh-mien arvoja. Arviointikirjallisuudessa esimerkiksi Shadish, Cook ja Leviton (1991, 46–50) sekä Vedung (1997, 248) kutsuvat tätä arvottamisen muotoa termillä
”descriptive valuing”. Usein arvioinnissa onkin kysymys tämän tyyppisestä ku-vailevasta arvottamisesta. (Ks. myös Heinonen 2001, 27–28.) Tässä tutkimukses-sa arvottaminen perustuu nimenomaan eri sidosryhmien käsityksistä johdettuihin kriteereihin eli kuvailevaan arvottamiseen.
Arviointia voidaan myös toteuttaa siten, että arvioija jo lähtökohtaisesti ko-rostaa joitakin arvoja enemmän kuin toisia. Tällaisia arvoja voivat Vedungin (1997, 248) mukaan olla esimerkiksi oikeudenmukaisuus, tasavertaisuus ja asi-akkaiden tarpeet. Shadish, Cook ja Leviton (1991, 46–50) ja Vedung (1997, 248) käyttävät tästä arvottamisen muodosta ilmaisua “prescriptive valuing”. Tämän tyyppistä arvottamista voisi luonnehtia normatiiviseksi. (Ks. myös Heinonen 2001, 28.)
Shadish, Cook ja Leviton (1991) katsovat, että normatiivisuus (prescriptive valuing) mahdollistaa arvioijan kriittisen näkökulman ja intellektuaalisen aukto-riteetin säilymisen arvioinnissa. Tähän ei kuvailevassa arvottamisessa (descripti-ve valuing) heidän mukaansa pystytä. Normatiivisen arvottamisen ongelmana on kuitenkin pidetty yleispätevän arvoteorian puuttumista. Tästä syystä arvioija, joka perustaa arvottamisen ennalta valitsemiinsa arvoihin joutuu kiinnittämään valintansa perusteluihin erityistä huomiota. (Shadish, Cook ja Leviton 1991, 49–
50; ks. myös Heinonen 2001, 28.)
Kuvailevaan arvottamiseen pohjautuvassa arvioinnissa arvioija hankkii arvot-tamisen perusteet muilta arviointiin osallistuvilta. Shadish, Cook ja Leviton (1991) sekä Vedung (1997) näkevät kuvailevaan arvottamiseen perustuvan arvioinnin poliittisesti ja sosiaalisesti käytännöllisempänä kuin normatiiviseen arvottami-seen perustuvan arvioinnin. (Ks. myös Heinonen 2001, 28.)
Arviointi, tutkimus ja arviointitutkimus
Arvioinnin ja tutkimuksen suhde on myös ollut keskustelun kohteena (esim.
Nikkanen 1995; Laukkanen 1994; Aaltonen 1989). Arvioinnin ja tutkimuksen eroja on luokiteltu muun muassa tehtävän, arvosidonnaisuuden, intressien ja lähtökohtien, teoreettisuuden asteen sekä tulosten hyödynnettävyyden perusteel-la. Arviointi on nähty myös enemmän yläkäsitteenä ja tutkimus arvioinnin erityi-senä menetelmänä (esim. Weiss 1972; Sinkkonen ja Kinnunen 1994, 30; ks.
myös Heinonen 2001, 25–26).
Tarkastelen taulukossa 1 arvioinnin ja tutkimuksen suhdetta koulutuksen alu-eella Pophamin (1988; ks. myös Heinonen 2001, 26) esityksen perustalu-eella. Yh-teistä koulutukseen kohdentuvassa arvioinnissa ja tutkimuksessa on pyrkimys tiedon etsintään, tiedon käyttötarkoitus sen sijaan vaihtelee. Tutkimuksessa pyri-tään tutkittavaa ilmiötä koskeviin johtopäätöksiin. Toiminnan päämääränä on tällöin tutkittavaa ilmiötä koskevan totuuden löytäminen. Arvioinnissa painote-taan enemmän hyötynäkökulmaa. Arvioitavaa kohdetta halupainote-taan ymmärtää pa-remmin, jotta saatua tietoa voitaisiin hyödyntää päätöksenteossa ja kehittämis-työssä.
Arvioinnin erottaa tutkimuksesta myös arvioinnin tulosten rajoitettu yleistet-tävyys ja pyrkimys arvopäätelmien tekemiseen. Arvioinnissa keskitytään tyypil-lisesti tiettyyn kohteeseen eikä arvioinnin tulosten yleistettävyydellä ole yhtä suurta merkitystä kuin tutkimuksessa. Arvottaminen ymmärretään jo arvioinnin määritelmään kuuluvaksi. Sen sijaan tieteellisen tutkimuksen ihanteena on perin-teisesti pidetty arvovapautta. Tämäkään määrittely ei ole aivan ongelmaton. Eri tiedekäsityksiin nojautuvissa tutkimuksissa voidaan toisaalta korostaa tieteen arvovapautta tai toisaalta nähdä inhimillinen todellisuus sosiaalisesti rakentuva-na ja siten myös arvosidonrakentuva-naiserakentuva-na (myös Raivola 1995, 53; Guba ja Lincoln 1989, 34–38; ks. myös Heinonen 2001, 26).
Taulukko 1. Koulutuksen arvioinnin ja tutkimuksen erot (Popham 1988, 13) VERTAILTAVA
OMINAISUUS
ARVIOINTI TUTKIMUS
Tiedonintressi päätökset johtopäätökset Tiedon yleistettävyys alhainen, kohteeseen rajoittuva korkea, yleistettävä
Tehtävä arvon, merkityksellisyyden osoittaminen
totuuden löytäminen
Käytännössä arviointi ja tutkimus eivät kuitenkaan välttämättä eroa toisistaan yhtä paljon kuin edellä esitetty kuvaus antaisi ymmärtää. Esimerkiksi tutkimuk-sen alueella voidaan nähdä eroja perustutkimuktutkimuk-sen ja soveltavan tutkimuktutkimuk-sen välillä. Arvioivaa otetta itsessään voi sisältyä kaikenlaiseen tutkimukseen, esi-merkiksi perustutkimukseen (Sinkkonen ja Kinnunen 1994, 32; ks. myös Heino-nen 2001, 26).
Arvioinnin ja arviointitutkimuksen suhde on ehkä ongelmallisempi kuin arvi-oinnin ja tutkimuksen suhde. Usein arviointi ja arviointitutkimus rinnastetaan toisiinsa. Toisaalta tämä on ymmärrettävää sillä arviointi ja arviointitutkimus eivät perusvaiheiltaan (esimerkiksi tiedon hankinta, sen analysointi ja tulosten raportointi) poikkea juuri toisistaan. (ks. myös Heinonen 2001, 26–27.)
Arviointi ei kuitenkaan välttämättä tarkoita samaa kuin arviointitutkimus.
Jakku-Sihvonen (1996 ja 2001) erottaa arvioinnin ja arviointitutkimuksen muun
muassa arviointitiedon käyttötarkoituksen perusteella. Arvioinnilla tarkoitetaan Jakku-Sihvosen mukaan poliittiseen ja hallinnolliseen tarkoitukseen suunnattua tiedonhankintaa tietystä prosessista ja kootun tiedon tulkintaa selvästi määritel-tyihin arvoihin ja/tai prosessille asetettuihin tavoitteisiin perustuen. Lopuksi vioinnissa muodostetaan edellä mainitun tulkinnan perusteella kokonaiskuva ar-vioitavan prosessin hyvistä ja huonoista puolista, sen hyödyistä, eduista ja hai-toista. (Ks. myös Heinonen 2001, 27.)
Arviointitutkimuksen intressinä on Jakku-Sihvosen (1996 ja 2001; myös Scri-ven 1997 ja 1998) mukaan tieteellisellä metodilla tuotetun tutkimuksellisen tie-don kokoaminen ja siihen perustuvien arvottavien johtopäätösten tekeminen ar-vioinnin kohteesta. Arviointitutkimus voi siten suhtautua avoimen kriittisesti arvioitavaan kohteeseen, esimerkiksi kyseisenä aikakautena maan hallituksen virallisesti vahvistamaan koulutuspolitiikkaan. Tutkimuksessa tehtäville arvotta-ville johtopäätöksille ei aseteta samantyyppistä normatiivista poliittisen korrek-tiuden vaatimusta kuten hallinnossa tehtävälle arvioinnille. Arviointitutkimuksen validiteetti määrittyy myös samoilla kriteereillä kuin minkä tahansa tutkimuksen validiteetti yleensä kysymyksessä olevan tutkimusparadigman alueella. Tässä tutkimuksessa tarkoitan arviointitutkimuksella edellä esitetyn määritelmän mu-kaista tutkimusta.
2.2 Arvioinnin teoreettiset perusteet ja toteuttaminen